VLM : 빠른 논문 리뷰 : VELOCITI: Benchmarking Video-Language Compositional Reasoning with Strict Entailment

용어 설명 (Terminology)

• VELOCITI (Video et Language Compositionality through Time): 짧은 영화 클립에서 시간에 따른 agent, action, 그리고 이들 간의 association을 평가하기 위해 본 논문에서 제안한 video-language compositional reasoning benchmark.
• Video-Language Entailment (VLE): 주어진 video(premise)가 caption(hypothesis)의 내용을 논리적으로 수반(entail)하는지 여부를 'Yes' 또는 'No'의 binary classification으로 판별하는 task.
• ClassicVLE: Positive caption의 entailment score가 negative caption의 score보다 상대적으로 높기만 하면 정답으로 인정하는 기존의 느슨한 평가 방식 (e(V, C+) > e(V, C-)).
• StrictVLE: 본 논문에서 제안한 엄격한 평가 metric. 상대적 비교를 넘어, 모델이 독립적으로 positive caption에는 'Yes'(score > 0.5), negative caption에는 'No'(score < 0.5)로 정확히 분류해야만 정답으로 인정하는 방식.
• In-Video Negation: 비디오와 무관한 텍스트 변형으로 오답을 만드는 대신, 동일한 비디오 내의 다른 시간대(event)에 실제로 등장하는 다른 agent나 action을 가져와 조합함으로써 그럴듯한 오답(negative caption)을 생성하는 기법.
• Text-Inspired Negation: 비디오의 시각적 내용을 참조하지 않고, LLM 등을 활용해 기존 텍스트의 단어를 그럴듯한 다른 단어나 반의어로 단순 대체하여 negative caption을 생성하는 기법.
• Semantic Role Labeling (SRL): 비디오 내 event에서 '누가(agent)', '무엇을(action)', '누구에게(patient)', '어디서(location)', '어떻게(manner)' 했는지 구조화된 딕셔너리 형태로 나타낸 dense annotation.
• Agent / Action Binding: 비디오 내에 등장하는 여러 인물(agent)과 행동(action)들을 단순히 개별적으로 탐지하는 것을 넘어, 특정 인물이 특정 행동을 했다고 정확하게 짝지어 연결(association)하는 능력.
• Agent Coreference: 비디오의 서로 다른 여러 event에 걸쳐 등장하는 인물이 '동일 인물'임을 행동 묘사만으로 추론하고 연결하는 다중 이벤트 기반 개념.

---

Purpose of the Paper

• 근본적인 역량에 대한 의문 제기: 최근 연구들이 수 분~수 시간짜리 long-video understanding으로 급격히 이동하고 있으나, 정작 그 전제 조건인 **짧은 비디오(10초)에서의 정교한 compositional reasoning(인물과 행동의 시공간적 결합 추론)**조차 현재의 Video-LLM들이 제대로 수행하고 있는지 검증하고자 함.
• 기존 평가 metric의 치명적 결함 극복:
  • ClassicVLE의 맹점: 기존 VLE는 positive caption의 점수가 negative보다 약간만 높아도(예: 0.7 vs 0.6) 정답 처리함. 하지만 실제 텍스트 생성(greedy decoding) 시 두 캡션 모두에 'Yes'를 출력하게 되어, 모델이 부분적 환각(partial hallucination)이나 오답을 거부하지 못하는 문제를 은폐함.
  • Multiple-Choice (MC)의 한계: 두 선택지를 동시에 주고 고르게 하는 객관식 평가는 독립적인 판단보다 쉬운 상대 비교를 유도하며, 특정 알파벳 선택지를 무조건 선호하는 심각한 choice bias를 가짐.
• 단순 존재 유무 판별(Presence check) 방지: 기존 벤치마크들은 비디오에 아예 없는 객체로 오답을 만들어 모델이 단순 객체 탐지만으로 문제를 풀 수 있었음. 이를 극복하기 위해 같은 비디오 내의 요소들을 뒤섞는 In-Video Negation을 도입하여 진정한 의미의 binding 및 temporal localization 능력을 요구함.

---

Key Contributions & Novelty

• VELOCITI Benchmark 구축 (Novelty: 세분화된 7가지 진단 테스트와 In-Video Negation)
  • VidSitu dataset의 10초 영화 클립과 dense SRL annotation, 그리고 LLaMA-3를 활용해 총 7가지 세부 테스트(Agent Random, Agent Binding, Agent Coreference, Action Adversarial, Action Manner, Action Binding, Event Chronology)를 구축하고 모든 샘플에 대해 거친 human verification을 완료함.
  • 참신성: 단일 이벤트(2초)에 대한 캡션을 전체 비디오(10초)와 매칭시켜 모델이 스스로 해당 이벤트의 시간적 위치를 찾도록(implicit temporal localization) 강제함. 특히 In-Video Negation을 통해 비디오 내에 실제로 존재하는 다른 인물/행동을 교차 결합함으로써, 단순 등장 여부 확인만으로는 절대 풀 수 없도록 설계함.
• StrictVLE Evaluation Metric 제안 (Novelty: 엄격한 독립적 이진 분류와 범용성)
  • 모델이 C+에 대해 e(V, C+) > 0.5 ('Yes'), C-에 대해 e(V, C-) < 0.5 ('No')를 동시에 만족해야만 정답으로 인정하는 metric(random chance 25%)을 도입함.
  • 참신성: 확률값(logits)의 미세한 차이로 정답을 인정받던 기존 관행을 깨고 실제 생성 결과('Yes'/'No')와의 완벽한 일치를 요구함. 또한 likelihood score에 접근할 수 없는 closed-source model에도 동일하게 적용 가능한 평가 기준을 제시함.
• Video-LLM의 취약점 및 평가 편향성 규명 (Novelty: 모델 크기별/평가 방식별 심층 행동 분석)
  • 최신 open/closed Video-LLM들을 평가하여 인간과의 거대한 성능 격차를 입증하고, 모델 크기에 따른 'Yes' 편향성 변화, ClassicVLE의 착시 현상, MC 평가의 choice bias 등을 정량적/시각적으로 완벽히 규명함.

---

Experimental Highlights

• Experimental Setup:
  • Datasets: VidSitu 기반의 864개 비디오, 총 7개 테스트에 걸친 수천 개의 검증된 (V, C+, C-) 쌍 (closed model 및 human evaluation은 각 테스트당 150개씩 추출한 VELOCITI Subset에서 진행).
  • Baselines: Open-source (PLLaVA, Video-LLaVA, Owl-Con, Qwen2-VL 7B/72B, LLaVA-OneVision 7B/72B), Closed-source (Gemini-1.5-Flash, Gemini-1.5-Pro, GPT-4o), Contrastive/Text models (SigLIP, ViFi-CLIP, VERA).
• 인간 대비 처참한 모델 성능 (StrictVLE 기준):
  • Human accuracy는 평균 **93.0%**에 달하는 반면, 최고 성능의 상용 모델인 Gemini-1.5-Pro는 49.3%, GPT-4o는 46.2%, 최고 성능의 오픈 모델인 LLaVA-OneVision-72B(OV-72B)는 44.5%(전체 셋 기준 43.1%)에 그쳐 절반 수준에 머무름.
• 세부 역량별 핵심 발견:
  • Action vs. Agent: 오픈 모델들은 인물 파악보다 행동 이해에서 훨씬 취약함 (OV-72B 기준 Agent 평균 49.2% vs. Action 평균 35.8%). 특히 행동의 미묘한 방식 차이를 묻는 Action Manner에서 크게 고전함(OV-72B 29.3%).
  • In-Video vs. Text-Inspired Negation: 모든 요소가 비디오에 등장하는 In-Video Negation 테스트가 훨씬 어려움. 비교적 균형 잡힌 GPT-4o조차 Text-Inspired(AgRand+ActAdv: 54.9%) 대비 In-Video(AgBind+ActBind: 49.4%)에서 5.5%p 성능 하락을 보임.
  • Multi-event Reasoning의 붕괴: 두 사건의 순서를 묻는 Event Chronology(EvChr)와 행동으로 인물을 유추하는 Agent Coreference(AgCref)에서 소형 모델(OV-7B)은 각각 30.5%, 8.0%로 붕괴하며, QVL-72B조차 EvChr에서 1.3%를 기록함.
• 모델 크기와 'Yes' Bias의 상관관계:
  • 7B급 소형 모델들은 캡션의 정오와 무관하게 무조건 'Yes'라고 답하는 경향이 강함(Positive 정답률은 높으나 Negative 정답률이 극도로 낮음). 모델이 72B로 커지면(OV-7B → OV-72B) Positive 정답률은 소폭 감소(85.9% → 80.4%)하는 대신 Negative 캡션을 기각하는 능력이 크게 향상(38.1% → 53.6%)됨. 반면 GPT-4o는 'Yes'라고 답하는 데 지나치게 보수적이어서 쉬운 Control test에서도 63.3%에 그침.
• ClassicVLE 및 MC 평가의 문제점 실증:
  • ClassicVLE: OV-72B는 ClassicVLE에서 83.6%의 높은 점수를 얻지만, scatter plot 분석 결과 수많은 점들이 우상단('Yes'-'Yes' 영역)의 대각선 바로 아래에 밀집해 있음. 즉, 오답에도 0.5 이상의 높은 점수를 주면서 단지 정답 점수가 조금 더 높다는 이유로 맞힌 것으로 처리됨(StrictVLE 적용 시 43.1%로 반토막).
  • MC Choice Bias: 객관식 평가 시 소형 모델은 B 선택지를 극단적으로 선호함(OV-7B는 정답이 B일 때 96.5%, A일 때 28.7%로 무려 +67.8%의 bias 발생). 대형 및 상용 모델도 여전히 편향이 존재함(OV-72B +10.3%, Gem-1.5F -11.9%, GPT-4o -9.1%).
• Benchmark 무결성 및 Ablation 검증:
  • Blind & Single-frame: 비디오를 안 주는 Blind 설정(OV-72B: 43.1% → 8.1%)이나 단일 프레임 입력(OV-7B: 32.1% → 19.0%) 시 성능이 급락하여, 언어적 편향이나 정지 영상만으로는 풀 수 없음을 입증함.
  • CoT & FPS: Chain-of-Thought(CoT) 프롬프팅 적용 시 오히려 성능이 하락함(OV-72B: 44.5% → 29.1%, Gem-1.5P: 49.3% → 41.9%). 프레임을 1fps에서 8fps로 늘릴 경우 OV-7B는 향상(+3.5%p)되었으나, OV-72B는 긴 context 처리 한계로 인해 오히려 하락(-2.9%p)함.

---

Limitations and Future Work

• 벤치마크 확장의 한계 (Scalability Issue):
  • 한계점: VELOCITI는 사람이 직접 작업한 정교한 SRL annotation(VidSitu)에 의존하며, LLM이 생성한 캡션의 hallucination을 걸러내기 위해 전수 수작업 검증(human verification)을 거침. 이처럼 높은 비용과 인력이 요구되어 데이터셋 규모를 무한정 확장하기 어려움.
  • Future Work 방향: 향후 인간 개입을 최소화하면서도 dense SRL 수준의 구조화된 정보를 비디오에서 자동 추출하고 검증할 수 있는 파이프라인 연구가 필요함.
• 평가 도메인의 국소성 (Person-Centric Focus):
  • 한계점: 영화 클립 기반의 VidSitu를 소스로 삼았기 때문에 인물(people)과 그들의 행동/상호작용에 초점이 맞춰져 있으며, 비디오 이해의 모든 전반적인 측면을 다루는 만능(one-stop) 벤치마크는 아님.
  • Future Work 방향: 인물 중심을 넘어 다양한 물리적 객체, 자연 현상, 추상적 개념 간의 시공간적 결합 추론으로 범위를 확장할 수 있음.
• Contrastive Model 적용 불가:
  • 한계점: 제안한 StrictVLE는 모델이 직접적인 'Yes'/'No' 확률이나 텍스트를 출력해야 하므로, 단순 유사도 점수(alignment score)만 출력하는 CLIP 계열의 contrastive model에는 적용할 수 없음(논문에서는 이들이 훨씬 느슨한 ClassicVLE에서도 약 60% 수준으로 매우 못한다는 것을 보여주는 것으로 대체함).
• 모델 측면의 향후 과제:
  • 실험에서 드러났듯 현재의 Video-LLM들은 step-by-step CoT 추론을 제대로 수행하지 못하고, 프레임 수(8fps)가 늘어날 때 긴 시각적 context를 처리하는 데 한계를 보임. 따라서 다중 이벤트에 걸친 시공간적 binding 및 coreference 해결을 위한 근본적인 모델 학습 및 아키텍처 개선이 시급함.

---

Overall Summary

본 논문은 최신 Video-LLM들이 짧은 비디오 내의 인물과 행동을 시공간적으로 결합하여 추론하는 기초적인 compositional reasoning 능력이 얼마나 갖추어져 있는지 진단하기 위해 VELOCITI 벤치마크와 StrictVLE 평가 방식을 제안한다. 같은 비디오 내의 다른 요소들을 교차 결합하는 In-Video Negation과 엄격한 독립 분류 기준을 적용한 결과, Gemini-1.5-Pro(49.3%)나 GPT-4o(46.2%) 같은 최고 수준의 모델조차 인간(93.0%)의 절반 수준에 그치며 특히 행동 이해와 다중 이벤트 추론에서 심각한 한계를 드러냈다. 또한 기존의 상대적 점수 비교(ClassicVLE)나 객관식 평가(MC)가 모델의 'Yes' 편향성과 선택지 편향성을 어떻게 가려왔는지를 명확히 폭로함으로써, 무분별하게 long-video로 향하던 연구 분야에 기초적인 시공간 추론 능력 확보와 엄격한 평가 체계 도입이라는 중요한 이정표를 제시한다.

---

쉬운 설명

이 논문의 핵심 아이디어를 시험 채점 방식과 문제 출제 방식에 비유하자면 다음과 같습니다.

1. 출제 방식 (In-Video Negation): 10초짜리 영상에서 **"초록 모자를 쓴 남자가 웃고, 잠시 뒤 빨간 셔츠를 입은 여자가 박수를 친다"**는 장면이 나왔다고 합시다. 기존 시험이 *"우주복을 입은 남자가 웃는다"*처럼 영상에 아예 없는 단어로 쉬운 오답을 만들었다면, 이 논문은 **"빨간 셔츠를 입은 여자가 웃는다"**처럼 영상 속에 실제로 전부 등장하지만 짝이 잘못 지어진 교묘한 오답을 만듭니다. 단순히 '빨간 셔츠 입은 여자'가 영상에 나왔는지만 확인해서는 절대 맞힐 수 없고, '누가 언제 무엇을 했는지' 정확히 짝을 지어야만 풀 수 있는 고난도 시험입니다.
2. 채점 방식 (StrictVLE): 기존 채점 방식(ClassicVLE)은 모델이 정답 문장에 "80% 맞음(Yes)", 오답 문장에 "70% 맞음(Yes)"이라고 답해도, 정답에 매긴 점수가 10% 더 높으니 맞혔다고 후하게 점수를 줬습니다. 하지만 실제로는 오답을 보고도 "맞다"고 고개를 끄덕인 셈입니다. 이 논문은 **정답 문장엔 확실하게 "Yes!", 오답 문장엔 단호하게 "No!"라고 대답해야만 점수를 주는 '엄격한 채점 기준(StrictVLE)'**을 도입했고, 그 결과 현재 가장 똑똑하다는 AI 모델들조차 이 시험에서 낙제점(50점 미만)을 받는다는 사실을 밝혀냈습니다.

 

 

VELOCITI (Video et Language Compositionality through Time)

시간에 따른 영상-언어의 조합적 이해 능력을 평가하는 벤치마크.


10초 길이의 영상을 사용하며, 다음 7가지 능력을 측정함.
1. Agent Random: 영상에 없는 인물 구별
2. Agent Binding: 인물과 행동의 올바른 연결
3. Agent Coreference: 여러 사건에 등장하는 동일 인물 식별
4. Action Adversarial: 실제 행동과 그럴듯한 다른 행동 구별
5. Action Manner: 행동의 방식이나 감정 구별
6. Action Binding: 인물과 행동의 관계 구별
7. Event Chronology: 사건의 발생 순서 이해




Video-Language Entailment (VLE, 영상-언어 함의 판단)
주어진 영상(Video)이 특정 문장(Caption)의 내용을 뒷받침하는지 판단하는 작업. 영상이 문장의 내용을 실제로 포함하고 있는지 확인하는 이진 분류(Binary Classification) 문제

ClassicVLE (Classic Video-Language Entailment, 기존 영상-언어 함의 평가)
영상에 대해 **Positive Caption(올바른 설명)**과 **Negative Caption(잘못된 설명)**을 제시하고, 모델이 올바른 설명에 더 높은 Entailment Score(함의 점수)를 부여하는지 평가하는 방식.

StrictVLE: 본 논문에서 제안한 엄격한 평가 metric. 상대적 비교를 넘어, 모델이 독립적으로 positive caption에는 'Yes'(score > 0.5), negative caption에는 'No'(score < 0.5)로 정확히 분류해야만 정답으로 인정하는 방식.

In-Video Negation (영상 내부 요소를 활용한 부정 설명 생성)
영상에 실제로 등장하는 인물(Agent)이나 행동(Action)을 다른 사건의 인물 또는 행동으로 교체하여, 사실과 일치하지 않는 Negative Caption을 생성하는 방식.

Text-Inspired Negation: 비디오의 시각적 내용을 참조하지 않고, LLM 등을 활용해 기존 텍스트의 단어를 그럴듯한 다른 단어나 반의어로 단순 대체하여 negative caption을 생성하는 기법.


Semantic Role Labeling (SRL, 의미역 레이블링)
문장에서 누가(Agent), 무엇을(Action), 누구에게 또는 무엇에(Patient), 어디서(Location), 어떻게(Manner), 왜(Purpose) 행동했는지 구분하여 각 요소에 의미적 역할을 부여하는 작업.

예를 들어 "주차장에서 회색 바지를 입은 남자가 한쪽 다리로 회전한다"라는 문장이 있다면,
- Agent: 회색 바지를 입은 남자
- Action: 회전한다
- Location: 주차장
- Manner: 한쪽 다리로


Agent / Action Binding (인물-행동 연결)
영상에 등장하는 인물(Agent)과 행동(Action)을 올바르게 연결하는 능력을 의미함. 단순히 인물과 행동의 존재 여부를 인식하는 것이 아니라, 누가 어떤 행동을 수행했는지 정확히 구분하는 것이 핵심.

Agent Coreference (동일 인물 참조 관계 식별)
영상의 서로 다른 사건(Event)에 등장하는 인물들이 동일한 인물인지 식별하는 능력을 의미함


본 논문은 최신 Video-LLM들이 짧은 비디오 내의 인물과 행동을 시공간적으로 결합하여 추론하는 기초적인 compositional reasoning 능력이 얼마나 갖추어져 있는지 진단하기 위해 VELOCITI 벤치마크와 StrictVLE 평가 방식을 제안한다. 

같은 비디오 내의 다른 요소들을 교차 결합하는 In-Video Negation과 엄격한 독립 분류 기준을 적용한 결과, Gemini-1.5-Pro(49.3%)나 GPT-4o(46.2%) 같은 최고 수준의 모델조차 인간(93.0%)의 절반 수준에 그치며 특히 행동 이해와 다중 이벤트 추론에서 심각한 한계를 드러냈다. 

또한 기존의 상대적 점수 비교(ClassicVLE)나 객관식 평가(MC)가 모델의 'Yes' 편향성과 선택지 편향성을 어떻게 가려왔는지를 명확히 폭로함으로써, 무분별하게 long-video로 향하던 연구 분야에 기초적인 시공간 추론 능력 확보와 엄격한 평가 체계 도입이라는 중요한 이정표를 제시한다.




1. 기존 평가에서는 모델 성능이 과대평가될 수 있음
상대적으로 올바른 설명을 선호하는 능력과, 잘못된 설명을 실제로 거부하는 능력은 다르다는 주장


2. 모델은 요소의 존재보다 요소 간 연결을 어려워함
영상에 특정 인물이 있는지는 비교적 잘 판단하지만, 그 인물이 어떤 행동을 했는지, 여러 사건에서 동일 인물인지 판단하는 데 어려움을 겪음


3. MCQ 평가에도 상당한 편향이 있음
LLaVA-OneVision-7B에 두 설명을 A/B 선택지로 주면, 올바른 설명의 위치에 따라 성능이 달라집니다.
- 정답이 A인 경우: 28.7%
- 정답이 B인 경우: 96.5%