AI바라기의 인공지능

용어 설명Multi-Hop VideoQA (MH-VidQA): 단일 프레임이나 연속된 하나의 구간이 아닌, 영상 내 여러 시간대에 파편화되어(scattered) 존재하는 시각적 단서들을 모으고 종합해야만 질문에 답하고 증거 구간(evidence)을 찾을 수 있는 고난도 VideoQA task.Action Scene Graphs: 비디오의 텍스트 설명(narration)에 포함된 구문 트리(syntax trees)를 분석해 행동, 객체, 시간적 흐름 및 상호작용을 그래프 형태로 구조화한 데이터 표현 방식.Grounding Tokens (, ): 모델이 답변을 생성할 때, 특정 시각적 근거가 되는 사건의 시작과 끝을 감싸기 위해 MLLM 단어장에 새롭게 추가된 특수 토큰 쌍.Evidence Grounding..

용어 설명MLLMs (Multi-modal Large Language Models): 텍스트뿐만 아니라 이미지, 비디오 등 다양한 시각적 정보를 동시에 처리하고 이해할 수 있는 대규모 언어 모델.Temporal Grounding (TG): 비디오의 전체 타임라인 안에서 특정 사건이나 액션이 발생한 정확한 시간대(moment)를 찾아내고 그 맥락을 이해하는 능력.Clue duration: 이 논문에서 도입한 고유 개념으로, 특정 질문에 올바르게 답하기 위해 비디오 내에서 필수적으로 확인해야 하는 "최소한의 시간 구간(시작점과 끝점)".Instruction tuning: 모델이 사용자의 지시사항이나 프롬프트 형식을 정확히 따르도록 미세 조정하는 학습 과정.Visual-agnostic: 시각적인 정보(비디오/..