AI바라기의 인공지능

이 논문은 AI 연구자로서 특히 Video-Language Models(VLM) 및 모델의 신뢰성(trustworthiness)에 관심이 많으시다면 매우 흥미롭게 읽으실 수 있는 연구입니다. 요청하신 기준과 형식에 맞추어 핵심만 압축한 학습 노트를 정리해 드립니다.📖 용어 설명 (Terminology)이 논문을 이해하기 위한 핵심 전문 용어입니다.Sycophancy: 모델이 시각적 증거(visual evidence)와 모순되더라도 사용자의 입력(user input)이나 편향에 동조하여 아부하는 성향을 의미합니다. (이 논문의 핵심 타겟 현상)Video-LLMs: 동적인 시각 정보(video)와 언어적 추론(language reasoning)을 결합하여 비디오를 이해하는 대형 언어 모델입니다.VISE(V..

용어 설명LMM(Large Multimodal Model): 언어와 시각 정보를 동시에 통합하여 이해하고 추론하는 대형 다중모달 모델입니다.RAG(Retrieval-Augmented Generation): 외부의 최신 소스에서 정보를 검색하여 모델의 생성 결과물을 강화하는 기법입니다.Knowledge Conflict: 모델 내부에 사전 학습된 파라미터 지식(parametric knowledge)과 외부에서 주입된 문맥(context) 정보가 서로 모순되는 현상입니다.Intra-memory conflict: 모델 내부의 파라미터 지식들 사이에서 발생하는 충돌입니다.Context-memory conflict: 외부 문맥 정보(검색 문서 등)가 모델 내부의 기존 지식과 충돌하는 상황입니다.Inter-conte..

용어 설명Vision-Knowledge Conflict: 시각적 입력 정보가 모델이 대규모 데이터로 학습하는 과정에서 내재화한 상식(parametric knowledge)과 모순될 때 발생하는 충돌 현상.Parametric Knowledge: 텍스트 데이터 pre-training 과정에서 모델의 가중치(weights) 네트워크 내부에 고정되어 저장된 보편적 상식이나 사실적 지식.NPMI (Normalized Pointwise Mutual Information): 두 개념이 동시에 등장할 확률을 정규화하여 측정한 지표. 본 논문에서는 상식적으로 함께 등장할 확률이 극히 희박한(counter-commonsense) 조합을 자동 추출하기 위해 사용됨.Memorization Ratio (MR): 모델이 시각적 ..

한국 현대미술에서 사진이 ‘기록 도구’에서 출발해, 다른 장르(회화·조각·설치·행위 등)와 섞이며 ‘새로운 조형 언어’가 되어가는 과정이 기대! 제일 처음 보인 작품이에요. 사실 잘 어려워서 무슨 그림인지 모르겠습니다. 기이하면서 단정하네요. 집에 나무 뿌리가 있다니. 괴물 같습니다. “사진이 ‘현실을 보여준다’는 믿음 자체를, 낯선 합성/배치로 뒤집는 작품.” 정도로 해석 할 수 있겠네요 현실의 돌들도 다른 돌로 눌려 고정된 것을 표현한 것 같아요 “사진은 기억인데, 돌은 그 기억을 움직이지 못하게 만든다.” 좀 특이해서 찍어봤어요. 환치라는 것 같아요.“환치 = 대상을 제자리에서 뽑아 다른 곳에 꽂는 순간, 의미가 바뀌는 것.” 그래서 무슨 의미일까요? 스님들이 치는 목탁을 이..