VLM : 논문리뷰 : Vid2Seq: Large-Scale Pretraining of a Visual Language Model for Dense Video Captioning

쉬운 설명 (Analogy)

이 논문의 핵심 아이디어는 **"프로가 쓴 대본 없이, 스포츠 경기 영상과 해설자의 실시간 음성만 듣고 완벽한 경기 요약 리포트를 작성하는 법을 배우는 것"**과 비슷합니다.

기존 방식은 누군가 "1분 5초~1분 10초: A선수 득점"과 같이 정확히 정리해준 대본으로 학습했습니다. 반면, Vid2Seq는 해설자가 "아! A선수가 멋진 골을 넣는군요!"라고 말하는 음성 파일과 경기 영상만 보고, 해설이 나온 시간대(pseudo event boundary)와 그 내용(pseudo caption)을 단서 삼아 언제, 무슨 일이 일어났는지를 동시에 파악하는 법을 스스로 터득합니다. 비록 해설이 실제 득점 순간과 약간 시간 차이가 있을 수 있지만(weak supervision), 수많은 경기를 이런 식으로 학습하다 보면 결국 정확한 요약 능력을 갖추게 되는 원리입니다.

 

 

 

Vid2Seq: 학습 노트

---

용어 설명 (Terminology)

• Dense Video Captioning: 짧은 clip이 아닌 전체 (untrimmed) video에 대해, 시간 순서에 따라 발생하는 모든 주요 event의 시간 구간(temporal localization)과 내용(caption)을 생성하는 task.
• Time Tokens: Video의 timestamp를 나타내기 위해 language model의 vocabulary에 추가된 특별한 token. 예를 들어, <0s>, <1s>, ..., <99s> 와 같이 video 길이를 100개의 구간으로 나누어 표현. 이 token 덕분에 시간 정보와 텍스트를 하나의 sequence로 처리 가능.
• Pseudo Event Boundaries: 수동으로标注(annotated)된 event 데이터가 아닌, 대규모의 해설(narrated) video에서 추출한 자동 음성 인식(ASR) transcript의 문장 시작과 끝 시간을 '가짜' event 구간으로 활용하는 개념. 이는 weak supervision의 핵심 아이디어.
• Sequence-to-Sequence Model: 입력 sequence(e.g., video frames)를 받아 출력 sequence(e.g., 시간 token과 텍스트가 결합된 caption)를 생성하는 모델 구조.

---

Purpose of the Paper

이 논문은 기존 Dense Video Captioning 연구의 두 가지 핵심 한계를 극복하고자 했습니다.

• Data Scarcity Problem: 기존 모델들은 수동으로 정교하게 제작된 소규모 데이터셋에 의존하여 학습했기 때문에, 모델의 확장성과 일반화 성능에 한계가 있었습니다. 대규모 데이터를 수집하는 것은 비용과 시간이 매우 많이 소요됩니다.
• Architectural Complexity: 기존의 SOTA 모델들은 event의 시간대를 찾는 'localization' 단계와, 해당 시간대의 내용을 설명하는 'captioning' 단계를 분리한 two-stage 접근법이나, 두 모듈을 복잡하게 결합한 방식을 사용했습니다. 이는 end-to-end 학습을 어렵게 하고, task에 특화된 복잡한 구성 요소(e.g., event counters)를 요구했습니다.

따라서 이 연구의 목표는 (1) 대규모의 라벨링되지 않은(unlabeled) narrated video를 활용하여 데이터 부족 문제를 해결하고, (2) 시간 예측과 텍스트 생성을 하나의 sequence로 통합하는 단순하고 강력한 end-to-end vision-language model을 제안하는 것입니다.

---

Key Contributions & Novelty

• Contribution 1: A Unified Sequence Generation Framework
  • Dense video captioning을 event의 시작 시간 token, 끝 시간 token, 그리고 텍스트 token을 순차적으로 생성하는 단일 sequence-to-sequence 문제로 재정의했습니다.
  • Novelty: 시간 정보(timestamps)와 내용(captions)을 별도로 처리하던 기존 방식과 달리, 'time tokens'를 도입하여 두 요소를 하나의 language modeling task로 통합했습니다. 이는 모델 구조를 극도로 단순화시키면서도 두 task 간의 의존성을 attention 메커니즘을 통해 자연스럽게 학습하도록 유도합니다.
• Contribution 2: Large-Scale Pretraining with Narrated Videos
  • 비용이 많이 드는 수동 annotation 대신, YouTube 등에서 쉽게 구할 수 있는 대규모 narrated video와 ASR(자동 음성 인식)로 얻은 transcript를 weak supervision으로 활용하는 pretraining 전략을 제안했습니다.
  • Novelty: 이는 dense video captioning 분야에서 최초로 대규모 narrated video(YT-Temporal-1B)를 pretraining에 성공적으로 활용한 사례입니다. ASR transcript의 문장 경계를 'pseudo event boundaries'로 간주하는 독창적인 아이디어를 통해, 라벨이 없는 데이터로부터 dense captioning에 필요한 신호를 효과적으로 추출했습니다.
• Contribution 3: State-of-the-art Performance
  • 제안된 Vid2Seq 모델은 YouCook2, ViTT, ActivityNet Captions 등 다양한 dense video captioning benchmark에서 SOTA 성능을 달성했습니다.
  • Novelty: 대규모 pretraining과 단순한 sequence-to-sequence 접근법만으로도, 복잡한 task-specific architecture를 사용한 기존 모델들을 압도하는 성능을 보여주며 제안 방법론의 우수성을 입증했습니다.

---

Experimental Highlights

• Datasets & Metrics:
  • Pretraining Dataset: YT-Temporal-1B (18 million narrated videos)
  • Downstream Datasets: YouCook2, ViTT, ActivityNet Captions
  • Main Metrics: CIDEr (C), METEOR (M), SODA_c (S) for captioning quality, F1 Score for localization accuracy.
• Key Result 1: Effectiveness of Pretraining (Table 1)
  • Pretraining을 하지 않은 baseline 모델(YouCook2 CIDEr: 18.0) 대비, **untrimmed narrated video와 time tokens를 사용해 pretraining한 모델(YouCook2 CIDEr: 47.1)**은 성능이 폭발적으로 향상되었습니다.
  • 이는 논문의 핵심 가설, 즉 대규모 narrated video를 활용한 weak supervision이 매우 효과적임을 명확히 증명하는 가장 중요한 결과입니다.
• Key Result 2: State-of-the-Art on Dense Captioning (Table 5)
  • Vid2Seq는 주요 벤치마크에서 기존 SOTA 모델인 PDVC를 큰 차이로 능가했습니다.
    • YouCook2: CIDEr 47.1 (vs. PDVC† 28.9)
    • ActivityNet Captions: CIDEr 30.1 (vs. PDVC† 29.3)
  • 이 결과는 제안된 모델이 caption의 질적 측면에서 압도적인 성능을 보임을 나타냅니다.
• Key Result 3: Generalization to Other Tasks
  • Vid2Seq는 별도의 구조 변경 없이 video paragraph captioning (Table 7)과 video clip captioning (Table 8)에서도 SOTA 성능을 달성하여, 모델의 높은 일반화 능력과 확장성을 보여주었습니다.

---

Limitations and Future Work

• Limitations:
  • Event Localization Performance: Captioning 품질은 압도적이지만, ActivityNet Captions 데이터셋에서 event의 시간대를 찾는 localization 성능(Recall, Precision)은 PDVC와 같은 전문 모델보다 다소 낮게 나타났습니다 (Table 6).
  • 저자들은 이것이 Vid2Seq가 event counter와 같은 localization을 위한 명시적인 prior knowledge나 task-specific component를 통합하지 않은, 더 일반적인 접근법을 사용하기 때문이라고 분석했습니다.
• Future Work:
  • 논문은 Vid2Seq의 유연한 sequence-to-sequence 설계가 다른 video-language task로 확장될 잠재력이 매우 크다고 제안합니다.
  • 향후 연구 방향으로 temporally-grounded video question answering (영상 속 특정 시간대에 대해 질문하고 답하는 task)이나 temporal action localization (특정 행동의 시간 구간만 찾아내는 task) 등에 이 모델을 적용하는 것을 제시했습니다.

---

Overall Summary

Vid2Seq는 'time tokens'라는 간단한 아이디어를 통해 dense video captioning을 단일 sequence 생성 문제로 통합한 vision-language model입니다. 이 모델의 가장 큰 혁신은 비싸고 제한적인 수동 데이터 대신, 대규모의 narrated video와 그 ASR transcript를 weak supervision으로 활용하는 pretraining 전략을 최초로 제안하고 성공시켰다는 점입니다. 그 결과, 복잡한 구조 없이도 주요 벤치마크에서 SOTA를 달성하며, 대규모 데이터를 활용한 video-language pretraining의 새로운 가능성을 열었습니다.

---

 

Abstract

본 연구에서는 대규모로 쉽게 사용할 수 있는 narrated videos에 대해 pre-trained 된 multi-modal single-stage dense event captioning model인 Vid2Seq를 소개합니다.

Vid2Seq architecture는 language model을 특별한 time tokens으로 보강하여, 동일한 output sequence 내에서 event boundaries와 textual descriptions를 원활하게 predict 할 수 있도록 합니다. 이러한 unified model은 large-scale training data를 필요로 하지만, 이는 현재의 annotated datasets에서는 사용할 수 없습니다.

우리는 transcribed speech의 sentence boundaries를 pseudo event boundaries로 재구성하고, transcribed speech sentences를 pseudo event captions로 사용하여 dense video captioning을 위해 unlabeled narrated videos를 활용하는 것이 가능함을 보여줍니다.

YT-Temporal-1B dataset에서 pre-trained 된 Vid2Seq model은 YouCook2, ViTT 및 ActivityNet Captions를 포함한 다양한 dense video captioning benchmarks에서 state of the art를 개선합니다. Vid2Seq는 또한 video paragraph captioning 및 video clip captioning task와 few-shot settings에도 잘 generalizes됩니다. 우리의 code는 공개적으로 이용 가능합니다.

 

 

 

1. Introduction

Dense video captioning은 untrimmed video에 있는 모든 events의 temporal localization과 captioning을 필요로 합니다. 이는 주어진 짧은 video clip에 대해 단일 caption을 생성하는 것이 목표인 표준 video captioning과는 다릅니다. Dense captioning은 몇 분 길이의 video에서 events를 localizing해야 하는 추가적인 복잡성을 야기하므로 훨씬 더 어렵습니다. 하지만, 이는 long-range video information으로부터 이점을 얻기도 합니다. 이 task는 video content가 clips로 segmented되지 않은 large-scale video search 및 indexing과 같은 application에서 잠재적으로 매우 유용합니다.

기존 방법들은 대부분 two-stage approaches에 의존하는데, 여기서 events는 먼저 localized된 다음 captioned됩니다. event localization과 captioning 간의 inter-task interaction을 더욱 향상시키기 위해, 일부 접근 방식들은 두 tasks를 공동으로 해결하는 models을 도입했습니다. 그러나 이러한 접근 방식들은 종종 event counters와 같은 task-specific components를 여전히 필요로 합니다. 더욱이, 이들은 제한된 크기의 수동으로 annotated된 datasets에서만 독점적으로 train하기 때문에 task를 효과적으로 해결하기 어렵습니다. 이러한 문제들을 해결하기 위해, 우리는 광범위한 vision 및 language tasks에서 성공을 거둔 Web data에 pre-trained된 최신 sequence-to-sequence models에서 영감을 얻었습니다.

먼저, 우리는 Vid2Seq라고 불리는 video language model을 제안합니다. 우리는 Web text에 trained된 language model에서 시작하여 video의 timestamps를 나타내는 특별한 time tokens으로 이를 보강합니다. video frames와 transcribed speech inputs가 주어지면, 결과 model은 그림 1(오른쪽)에서 설명된 바와 같이 discrete tokens의 단일 sequence를 generating함으로써 모든 event captions와 그에 상응하는 temporal boundaries를 공동으로 predicts합니다. 따라서 이러한 model은 attention을 통해 video 내 다른 events 간의 multi-modal dependencies를 학습할 잠재력을 가집니다. 그러나 이는 large-scale training data를 필요로 하며, 이는 현재의 dense video captioning datasets에서는 사용할 수 없습니다. 더욱이, video에 대한 dense captions의 manual annotations를 수집하는 것은 비용이 많이 들고 대규모로 수행하기에는 무리가 있습니다. 따라서 우리는 대규모로 쉽게 사용할 수 있는 unlabeled narrated videos를 활용하여 Vid2Seq를 pretrain할 것을 제안합니다.

이를 위해, 우리는 transcribed speech의 sentence boundaries를 pseudo event boundaries로 재구성하고, transcribed speech sentences를 pseudo event captions로 사용합니다. 그런 다음 우리는 visual inputs가 주어졌을 때 transcribed speech를 predicting해야 하는 generative objective와, transcribed speech의 spans를 masks하는 denoising objective로 Vid2Seq를 pretrain합니다. transcribed speech는 video content를 충실하게 묘사하지 않을 수 있으며, 종종 visual stream과 temporally misaligned되어 있다는 점에 유의해야 합니다. 예를 들어, 그림 1(왼쪽)의 예에서 회색 스키어가 실제로 슬로프를 내려온 후에 말해진 마지막 speech sentence로부터 그가 슬로프를 내려왔다는 것을 이해할 수 있습니다. 직관적으로, Vid2Seq는 video 내의 모든 narrations와 해당 timestamps를 공동으로 models하기 때문에 이러한 noisy supervision으로부터 학습하는 데 특히 적합합니다.

우리는 광범위한 실험을 통해 우리의 pre-trained model의 효과를 입증합니다. 우리는 untrimmed narrated videos에 대한 pretraining의 중요성, visual 및 speech modalities를 모두 사용하는 Vid2Seq의 능력, pretraining objectives의 중요성, joint caption generation 및 localization의 이점, 그리고 language model 크기와 pretraining dataset의 규모의 중요성을 보여줍니다. pre-trained된 Vid2Seq model은 다양한 dense video captioning benchmarks에서 state-of-the-art performance를 달성합니다. 우리 model은 또한 video를 설명하는 텍스트 단락을 generating하는 데 뛰어납니다: inference time에 ground-truth event proposals를 사용하지 않고도, 우리 model은 그러한 proposals에 의존하는 접근 방식을 포함한 모든 이전 접근 방식을 outperforms합니다. 더욱이, Vid2Seq는 video clip captioning의 표준 task에도 잘 generalizes됩니다. 마지막으로, 우리는 downstream training dataset의 작은 부분에 대해 pre-trained model을 finetune하고 이 setting에서 Vid2Seq의 이점을 보여주는 새로운 few-shot dense video captioning setting을 소개합니다.

요약하자면, 우리는 다음과 같은 기여를 합니다: (i) 우리는 dense video captioning을 위한 Vid2Seq를 소개합니다. multi-modal inputs(transcribed speech 및 video)가 주어지면, Vid2Seq는 event timestamps를 나타내는 특별한 time tokens와 인터리빙된 caption tokens를 포함하는 discrete tokens의 단일 sequence를 predicts합니다. (ii) 우리는 unlabeled narrated videos의 transcribed speech와 해당 timestamps가 dense video captioning을 위한 weak supervision의 소스로 효과적으로 사용될 수 있음을 보여줍니다. (iii) 마지막으로, 우리의 pre-trained Vid2Seq model은 3개의 dense video captioning datasets(YouCook2, ViTT, ActivityNet Captions), 2개의 video paragraph captioning benchmarks(YouCook2, ActivityNet Captions), 2개의 video clip captioning datasets(MSR-VTT, MSVD)에서 state of the art를 개선하고, few-shot settings에도 잘 generalizes됩니다.

Jax로 구현되고 Scenic library를 기반으로 하는 우리의 code는 공개적으로 릴리스되었습니다.

 

 

Vid2Seq Introduction 정리노트 (for AI Researchers)

1. Problem Definition & Existing Limitations

• Task: Dense video captioning (untrimmed video에서 모든 event의 temporal localization 및 captioning).
• Existing Methods: 주로 two-stage approaches (localization → captioning)를 사용하거나, joint-solving models을 사용해도 event counters 같은 task-specific components가 필요함.
• Core Limitation: 수동으로 annotated된 소규모 datasets에만 의존하여 training하므로, task를 효과적으로 해결하기 어려움.

2. Proposed Model: Vid2Seq

• Architecture: Single-stage, sequence-to-sequence model. Web text로 trained된 language model을 기반으로 함.
• Key Idea: Video의 timestamps를 표현하는 특별한 'time tokens'를 도입.
• Input/Output: Multi-modal inputs (video frames, transcribed speech)를 받아, event captions와 temporal boundaries(time tokens)가 결합된 단일 discrete token sequence를 생성(generate)함.
• Advantage: Attention mechanism을 통해 video 내 여러 events 간의 multi-modal dependencies 학습이 가능함.

3. Core Contribution: Pre-training with Weak Supervision

• Challenge: Vid2Seq와 같은 unified model은 large-scale training data가 필요하지만, 관련 datasets이 존재하지 않음.
• Solution: 대규모로 수집 가능한 unlabeled narrated videos를 pre-training에 활용.
• Methodology:
  • Transcribed speech의 sentence boundaries를 pseudo event boundaries로 재구성.
  • Transcribed speech sentences를 pseudo event captions로 사용.
  • 이러한 weak supervision data를 사용하여 모델을 pre-train함.
• Suitability: Vid2Seq는 narration과 timestamps를 공동으로 model하기 때문에, 실제 영상과 음성 사이의 temporal misalignment 같은 noisy supervision으로부터 효과적으로 학습하는 데 특히 적합함.

4. Pre-training Objectives

• Generative Objective: Visual inputs가 주어졌을 때, transcribed speech를 predict하도록 학습.
• Denoising Objective: Transcribed speech의 특정 spans를 mask하고 이를 복원하도록 학습.

5. Claimed Performance & Generalization

• SOTA Achievement: YouCook2, ViTT, ActivityNet Captions 등 주요 dense video captioning benchmarks에서 SOTA 달성.
• Generalization:
  • Inference 시 ground-truth event proposals 없이도 이전 방법들을 outperforms.
  • Video paragraph captioning 및 standard video clip captioning task에서도 뛰어난 성능을 보임.
  • Few-shot setting에서도 효과적임을 입증.

---

쉬운 설명 :

이 논문은 긴 동영상에 나오는 모든 주요 장면마다 "어떤 일이(caption) 몇 초부터 몇 초까지(localization) 일어났다"를 자동으로 찾아 글을 달아주는 dense video captioning 기술에 관한 것입니다.

기존의 기술들은 보통 2단계로 일했습니다. '장면을 먼저 찾고, 그 다음에 글로 설명'하는 방식이었죠. 하지만 이 방식은 복잡하고, 가장 큰 문제는 학습에 필요한 데이터가 너무 부족하다는 점이었습니다. 사람이 직접 영상의 모든 장면에 시간과 설명을 일일이 다는 것은 매우 비싸고 힘든 일이기 때문입니다.

그래서 이 논문은 Vid2Seq 라는 새로운 AI 모델을 제안합니다. 이 모델의 가장 큰 특징은 단 한 번에 장면의 시간과 설명을 동시에 생성한다는 것입니다. 마치 AI가 영상을 한 번 보고 "15초부터 22초까지: 한 남자가 양파를 썬다. 25초부터 31초까지: 그가 양파를 냄비에 넣는다." 와 같은 결과물을 하나의 문장처럼 쭉 써 내려가는 방식입니다.

이 모델의 가장 똑똑한 아이디어는 데이터 문제를 해결한 방식에 있습니다. 수작업 데이터 대신, 유튜브의 요리나 DIY 영상처럼 누군가 말로 설명하는 영상(narrated video)을 대규모로 활용한 것입니다. 영상 속 음성을 텍스트로 변환한 뒤, "사람이 말하는 문장"을 "장면 설명(pseudo caption)"으로, "그 문장을 말한 시간"을 "장면의 시간(pseudo boundary)"으로 간주하고 AI를 학습시켰습니다. 물론 이 데이터는 설명과 영상이 정확히 일치하지 않는 '노이즈'가 많지만, Vid2Seq는 이런 불완전한 데이터로부터도 잘 학습하도록 설계되었습니다.

결과적으로, 이렇게 손쉽게 구할 수 있는 대규모 데이터로 미리 학습된(pre-trained) Vid2Seq 모델은 기존의 모든 모델들보다 훨씬 뛰어난 성능을 보여주었고, 영상 전체를 한 문단으로 요약하거나 짧은 클립을 설명하는 다른 유사한 임무들까지 아주 잘 해냈습니다.

 

 

2. Related Work

Dense video captioning. Dense video captioning은 event localization과 event captioning의 교차점에 있습니다. dense video captioning에 대한 기존 방법의 대다수는 temporal localization stage와 그 뒤를 잇는 event captioning stage로 구성됩니다. inter-task interactions를 강화하기 위해, 최근 연구들은 captioning과 localization modules를 공동으로 train합니다. 특히, Wang et al.은 dense video captioning을 set prediction task로 간주하고, 각 event에 대해 event localization과 captioning을 병렬적으로 공동 수행할 것을 제안합니다. 반면에, 우리 model은 이전에 generated된 events에 conditioned된 event boundaries와 captions를 generate합니다. Deng et al.은 먼저 paragraph를 generate한 다음 video에서 각 문장을 ground할 것을 제안합니다. 우리 또한 모든 captions를 single output sequence로 generate하지만, 우리의 output에는 이미 event timestamps가 포함되어 있습니다. Zhang et al.은 event boundaries를 sequentially하게 generate하지만, event localization과 single event captioning을 별도로 수행하며 visual input만 사용합니다. 우리 연구와 가장 관련이 있는 Zhu et al. 또한 single output sequence를 generating하여 dense video captioning을 수행합니다. 그러나 그들의 method는 transcribed speech의 timestamps로부터 직접 event locations를 infer하므로, speech를 밀접하게 따르는 events만 detect할 수 있습니다. 대조적으로, 우리 model은 event timestamps를 special tokens로 generate하며, ActivityNet Captions dataset에서 입증한 바와 같이 speech가 제한적인 video에 대해서도 dense captions를 생성할 수 있습니다.

Video and language pretraining. image-text pretraining의 성공에 이어, 최근 연구들은 video-text pretraining을 탐구해왔습니다. 이러한 방법들은 text-video retrieval, video question answering 및 video clip captioning과 같은 다양한 tasks에서 강력한 성능 향상을 보여줍니다. 이 연구들은 주로 video-level prediction tasks를 해결하기 위해 global video representations를 학습하는 반면, 우리는 untrimmed videos에서 여러 events에 대한 reasoning을 요구하는 dense prediction task를 해결하기 위해 상세한 representations를 학습하는 데 중점을 둡니다. 여러 연구에서 long-form video-text pretraining과 temporal localization tasks를 위한 video-text pretraining을 탐구했습니다. 그러나 이러한 연구들은 video understanding tasks에 중점을 두는 반면, 우리의 pretraining approach는 model이 video 내 여러 events에 대해 reason할 뿐만 아니라 자연어로 이를 설명해야 하는 generative task에 맞춰져 있습니다. 소수의 연구가 dense video captioning을 위한 pretraining을 탐구합니다. Zhang et al.은 동일한 dataset에서의 downstream performance를 향상시키기 위해 ActivityNet Captions에 대해 pretrain합니다. 대조적으로, 우리는 어떠한 manual annotation에도 의존하지 않는 pretraining method를 제안하고, 여러 downstream datasets에서 그 이점을 보여줍니다. Huang et al.은 narrated instructional videos에 대한 pretraining을 탐구하지만, 그들의 model은 localization을 처리하지 않기 때문에 ground truth proposals를 사용한 event captioning만 고려합니다. 마지막으로, 일부 연구는 domain specific text-only dataset에 대한 pretraining을 탐구합니다. 이와 대조적으로, 우리는 generic video corpus에 대해 pretrain할 것을 제안하고 다양한 domains에서 이점을 보여줍니다.

Unifying tasks as language modeling. 최근 연구들은 object detection, grounded image captioning 또는 visual grounding과 같은 다양한 computer vision 문제들을 language modeling task로 변환하는 것이 가능하다는 것을 보여주었습니다. 본 연구에서 우리 또한 visual localization을 language modeling task로 변환합니다. 그러나 image-level spatial localization에 중점을 둔 prior work와는 달리, 우리는 untrimmed videos에서 시간상의 event localization이라는 다른 문제를 다룹니다.

 

Vid2Seq Related Work 정리노트 (for AI Researchers)

이 논문은 기존 연구들과 비교하여 다음 세 가지 측면에서 차별점을 가집니다.

1. Dense Video Captioning (DVC) 접근 방식의 차이

• Unified & Sequential Generation: 기존의 two-stage (localization → captioning) 방식이나, event set을 병렬로 예측하는(set prediction) 방식과 달리, Vid2Seq는 하나의 sequence 안에서 이전에 생성된 event에 conditioned하여 다음 event의 caption과 timestamp를 순차적으로 generate 합니다.
• Timestamp를 Token으로 직접 생성: Paragraph를 먼저 생성한 후 영상에 grounding하는 방식과 달리, output 자체에 special time token 형태로 event timestamp를 포함시켜 한 번에 생성합니다.
• Speech 의존성 탈피: 음성(speech)의 timestamp에서 event 위치를 추론하는 기존 연구와 가장 큰 차이점은, Vid2Seq가 timestamp를 스스로 generate한다는 것입니다. 이로 인해 음성 설명이 거의 없는 영상(ActivityNet Captions 등)에서도 dense captioning이 가능합니다.

2. Video & Language Pre-training 전략의 독창성

• 목표의 차이 (Dense vs. Global): 기존 video-text pretraining이 주로 text-video retrieval이나 VQA를 위해 영상 전체의 global representation을 학습한 반면, 이 연구는 여러 event에 대한 reasoning이 필요한 dense prediction task를 위해 상세하고(detailed) 지역적인 representation 학습에 집중합니다.
• 학습 데이터의 차이 (Unlabeled & Generic):
  • Downstream 데이터셋(ActivityNet Captions)으로 pretrain하는 방식과 달리, **manual annotation이 전혀 없는 대규모 일반 영상(generic video corpus)**을 활용하여 여러 downstream dataset에 대한 일반화 성능을 확보했습니다.
  • Ground truth proposal을 요구하거나, 특정 domain의 text-only dataset을 활용하는 방식과 달리, multi-domain에 적용 가능한 narrated videos를 weak supervision 소스로 사용합니다.

3. Language Modeling 적용 범위의 확장

• 차원의 확장 (Spatial → Temporal): Object detection 등 computer vision 문제를 language modeling task로 해결하려는 최근 트렌드를 따릅니다.
• 핵심 기여: 기존 연구들이 이미지 내에서의 **공간적 위치(spatial localization)**를 찾는 데 이 아이디어를 적용한 반면, 이 연구는 이를 비디오 내에서의 시간적 위치(temporal event localization) 문제로 성공적으로 확장했습니다.

---

쉬운 설명 :

이 연구가 기존의 다른 연구들과 어떻게 다른지 설명하는 부분입니다. 크게 세 가지로 요약할 수 있습니다.

1. "장면 찾고 설명하기" 방식이 다릅니다. 🎬

• 기존 방식: "일단 영상에서 중요한 부분을 다 찾아낸 다음(1단계), 각 부분에 대해 설명을 붙이는(2단계) 공장 라인 같았어요." 혹은 "일단 긴 줄글로 스토리를 쓰고, 각 문장이 영상의 몇 초에 해당하는지 나중에 맞추는 방식도 있었죠."
• 이 연구 방식: "이 논문의 AI는 한 번에 일을 처리해요. 영상을 보면서 '10초~15초: 요리사가 양파를 썬다' 와 같이 시간과 설명을 한 문장처럼 쭉 이어서 만들어냅니다. 마치 동시통역사가 영상을 보며 바로 자막을 만드는 것과 같아요. 특히, 영상에 나레이션이 거의 없어도 AI가 알아서 시간을 콕 집어낼 수 있다는 게 큰 장점입니다."

2. AI를 "공부시키는" 방법이 다릅니다. 📚

• 기존 방식: "주로 사람이 정성껏 만든 '모범 답안' 데이터(비싼 데이터)를 가지고 AI를 가르쳤어요. 그래서 특정 종류의 영상은 잘 이해하지만, 다른 종류의 영상에는 약한 모습을 보였죠."
• 이 연구 방식: "이 AI는 **라벨이 없는 수많은 유튜브 영상(나레이션이 있는)**을 보면서 스스로 학습해요. 완벽하지 않고 다소 어수선한 실제 데이터를 가지고 '눈치껏' 배우는 셈이죠. 덕분에 어떤 종류의 영상이든 잘 이해하는 '일반화' 능력이 뛰어납니다."

3. "문제 풀이" 아이디어를 확장했습니다. 💡

• 기존 아이디어: "최근 AI 학계에서는 이미지 속 '고양이가 어디에 있는지' 같은 공간 찾기 문제를 '언어 문제'처럼 푸는 방법이 유행했어요."
• 이 연구의 응용: "이 논문은 그 아이디어를 영상에 적용해서, '주인공이 점프하는 장면이 언제 나오는지' 같은 시간 찾기 문제로 멋지게 확장했습니다. 즉, 공간(2D) 문제를 풀던 방식을 시간(1D) 문제에 맞게 변형하여 해결한 것입니다."

 

 

 

 

주인장 이해

 

"유튜브 음성 해설 영상에서 ASR(자동 음성 인식) 기술로 [타임스탬프 + 텍스트] 데이터를 자동으로 대량 생성하고, 시간을 토큰으로 만들어 **먼저 Pre-training(선행학습)**을 한 뒤, **소규모의 진짜 정답 데이터로 Fine-tuning(미세조정)**했다."