VLM : 논문 리뷰 : VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification

용어 설명 (Terminology)

• Spatio-Temporal Evidence Verification: 정답의 근거가 되는 비디오 내의 특정 시간대(Temporal)와 특정 공간 범위(Spatial, Bounding Box)를 모델이 정확히 찾아냈는지 검증하는 과정.
• VideoZeroBench: 이 논문에서 제안한 비식별화된 증거 기반의 계층적 비디오 이해 벤치마크.
• Grounding (Temporal/Spatial): 모델이 텍스트 설명을 비디오의 특정 시점이나 이미지 내 객체 위치에 매핑하는 능력.
• tIoU (Temporal Intersection over Union): 모델이 예측한 시간 구간과 실제 정답 구간의 겹침 정도를 측정하는 지표.
• vIoU (Visual Intersection over Union): 모델이 예측한 Bounding Box와 실제 객체 위치의 겹침 정도를 측정하는 지표.
• Atomic Abilities: 비디오 이해를 구성하는 세부 능력 단위 (Counting, OCR, Spatial Orientation 등 11개 항목).
• Hierarchical Evaluation Protocol: 난이도와 제약 조건을 단계별로 강화하여 모델의 능력을 다각도로 분석하는 5단계 평가 체계.
• Needle-in-a-haystack: 긴 비디오 내에서 아주 짧고 미세한 결정적 증거를 찾아내야 하는 고난도 상황.

---

Purpose of the Paper

• 기존 연구의 한계 극복: 현재의 Video MLLM 벤치마크들은 점수가 포화 상태(80% 이상)에 도달했으나, 이는 모델의 진정한 이해보다는 데이터셋의 편향이나 운 좋게 맞힌 Hallucination에 의한 '부풀려진 점수(Inflated Scores)'일 가능성이 높음.
• 새로운 문제 정의: 모델이 단순히 정답 텍스트만 생성하는 것이 아니라, **"왜 그 답변이 도출되었는가?"**에 대한 시공간적 증거를 명확히 제시할 수 있는지 평가하여 모델의 **Trustworthiness(신뢰성)**와 Reasoning(추론) 능력을 검증하고자 함.
• 차별점: 기존 벤치마크들이 짧은 영상이나 단순 QA에 집중할 때, 본 논문은 평균 667초의 긴 비디오와 5단계 계층적 평가를 통해 모델의 한계를 극한까지 밀어붙임.

---

Key Contributions & Novelty

• VideoZeroBench 구축 (Novelty): 13개 도메인, 500개의 고난도 주관식(Open-ended) 질문으로 구성된 데이터셋. 모든 질문에 대해 정답의 근거가 되는 시간 구간과 Spatial Bounding Box를 수동으로 어노테이션함.
• 5-Level Evaluation Protocol (Contribution):
  • Level 1~3: 힌트(시공간 정보) 유무에 따른 답변 정확도 측정 (Reasoning 능력 확인).
  • Level 4~5: 정답과 함께 정확한 Temporal/Spatial Grounding을 동시에 요구 (Evidence Verification 수행).
• Atomic Ability Taxonomy (Contribution): 비디오 이해를 11개의 세부 능력으로 파편화하여, 모델이 특히 어떤 부분(예: Counting, Spatial Orientation)에서 취약한지 정밀 진단할 수 있는 틀을 제공함.
• Grounded Reasoning의 재발견: 실험 결과, 최신 모델인 Gemini-3-Pro조차 가장 엄격한 Level 5에서 1% 미만의 정확도를 기록함을 발견하여 현행 모델들의 심각한 결함을 폭로함.

---

Experimental Highlights

• Datasets & Baselines: Gemini-3-Pro, GPT-5.2, Qwen3.5-VL 등 17개의 최첨단 Proprietary 및 Open-source 모델을 대상으로 실험.
• 성능 급락 현상: 표준 비디오 QA 방식인 Level 3에서는 Gemini-3-Pro가 **17.0%**의 정확도를 보였으나, 시공간 근거를 함께 요구하는 Level 5에서는 **1.0%**로 급락함. 대부분의 모델이 Level 5에서 0점을 기록.
• Grounding의 병목 현상: 모델들에게 정답 근거 위치를 미리 알려준 Level 1에서는 성능이 크게 향상(최대 28.4%)됨. 이는 모델의 추론 자체보다 **"증거를 찾는 과정(Grounding)"**이 현재 Video MLLM의 가장 큰 병목임을 시사함.
• Long-video의 어려움: 영상이 길어질수록(15분 이상) 대부분의 모델 성능이 저하되었으며, 이는 검색 공간(Search Space)의 증가와 Distractor(방해 요소) 때문인 것으로 분석됨.

---

Limitations and Future Work

• Spatial Intelligence의 부재 (Limitation): 현재 모델들은 아주 작은 객체(Small-Object)를 인식하거나 복잡한 공간 관계(Spatial Orientation)를 파악하는 데 매우 취약함. 이는 단순한 텍스트 학습만으로는 극복하기 어려운 지점임.
• Grounding Precision의 한계 (Limitation): Thinking-with-video(에이전트 방식) 모델들이 반복적인 탐색을 시도해도, 원천적인 Grounding 정밀도가 낮아 최종 성능 향상이 제한적임.
• 향후 연구 방향 (Future Work): 모델이 스스로 중요한 프레임을 선택하고 확대해서 보는 Adaptive Sampling 기술과, 시공간적 근거를 명시적으로 학습 과정에 포함시키는 Grounded Training의 필요성을 강조함.

---

Overall Summary

이 논문은 비디오 이해 모델이 정답만 맞히는 '눈먼 추론'에서 벗어나, 정확한 시공간적 근거를 바탕으로 답변하는 Grounded Video Understanding으로 나아가야 함을 역설합니다. 이를 위해 제안된 VideoZeroBench는 최신 MLLM들이 실제로는 시공간적 증거를 거의 찾지 못한다는 사실을 수치로 증명했습니다. 결과적으로 이 연구는 차세대 비디오 모델이 신뢰할 수 있는 지능을 갖추기 위해 해결해야 할 핵심 과제가 Fine-grained Grounding임을 명확히 제시하는 이정표 역할을 합니다.

---

쉬운 설명

이 논문은 학생(AI 모델)이 시험을 볼 때 정답만 맞히는 게 아니라, **"문제의 근거가 교과서 몇 페이지, 어느 줄에 있는지"**까지 정확히 짚어내야 점수를 주는 아주 까다로운 시험지를 만든 것과 같습니다. 기존 시험에서는 찍어서 맞히거나 대충 눈치껏 답을 써서 높은 점수를 받았던 우등생 모델들도, 이 새로운 시험지(VideoZeroBench) 앞에서는 정답의 근거를 찾지 못해 거의 0점에 가까운 처참한 성적을 받게 된다는 것을 보여주며, 앞으로 AI가 진짜 실력을 키우려면 '근거 찾기' 공부를 더 열심히 해야 한다고 꾸짖는 논문입니다.

 

 

증거에 대한 시간 구간, 위치 구간 정보 구측

1/ 모든 정보 다 주고 풀기
2/ 시간만 대충 주고 풀기
3. 힌트 안주기 
4. 시간 맞추게까지 시킴
5. 시간 위치까지 맞추게 시킴

이렇게 데이터셋 구축

 

 

 

 2.5점 / 5점