VLM : 빠른 논문 리뷰 : Language-Guided Temporal Token Pruning for Efficient VideoLLM Processing

용어 설명 (Terminology)

이 논문의 핵심 내용을 이해하기 위해 필요한 주요 전문 용어 정리:

• VideoLLM (Video Large Language Model): 비디오 데이터를 입력으로 받아 이해하고, 텍스트로 질문에 답변하거나 캡션을 생성하는 대규모 멀티모달 모델.
• Temporal Token Pruning: 비디오의 모든 프레임을 처리하는 대신, 시간적(temporal) 중요도에 따라 불필요한 시각적 정보(token)를 제거하여 연산량을 줄이는 기술.
• Quadratic Complexity: Attention 메커니즘의 특성상 입력 시퀀스(비디오 길이)가 길어질수록 연산량이 제곱으로 증가하는 문제.
• Soft Selection: 특정 프레임을 완전히 삭제하는(Hard Selection) 대신, 중요도가 낮은 프레임이라도 최소한의 토큰(context)은 남겨두어 비디오의 흐름을 끊지 않는 방식.
• Temporal Cues: 사용자의 질문(Query)에 포함된 시간적 힌트(예: "before", "after", "during", "while").
• HIT@1 (Hit at Rank 1): 모델이 예측한 가장 높은 확률의 구간이 정답 구간과 겹치는지 측정하는 평가 지표.
• FLOPs: 모델이 처리해야 하는 부동 소수점 연산의 수로, 모델의 효율성을 나타내는 지표.

---

Purpose of the Paper

이 연구는 Long-form Video 처리 시 VideoLLM이 겪는 연산 비효율성 문제를 해결하기 위해 제안되었습니다. 기존 연구들은 다음과 같은 치명적인 한계를 가지고 있었습니다:

• Uniform Pruning (예: PruMerge, ToMe): 모든 프레임에서 공간적 중복만 줄일 뿐, 시간적 중요도를 고려하지 않아 중요한 순간을 놓칠 위험이 있음.
• Keyframe Selection (예: KeyVideoLLM, VideoTree): 중요하지 않은 프레임을 통째로 버려(discard), 프레임 간의 시간적 맥락(Temporal Context)과 연속성을 파괴함.

따라서 본 논문은 **"모든 프레임이 질문과 동일하게 관련있는 것은 아니다"**라는 점에 착안하여, 사용자의 자연어 쿼리(Query)에서 시간적 단서를 추출해 관련 있는 구간의 토큰은 많이 남기고, 덜 중요한 구간은 최소한만 남기는 적응형 프레임워크를 제안합니다.

---

Key Contributions

이 논문의 Language-Guided Temporal Token Pruning (LGTTP) 프레임워크는 다음과 같은 독창적인 기여를 합니다:

• Query-Aware Soft Pruning Strategy (Novelty)
  • 기존의 Hard Selection(프레임 삭제) 방식과 달리, 중요도가 낮은 프레임에서도 최소한의 토큰(Tmin, 약 10%)을 유지하는 Soft Selection을 도입했습니다. 이는 비디오의 흐름(Contextual Continuity)을 유지하면서도 연산량을 줄이는 핵심 차별점입니다.
  • 질문(Query)을 분석하여 시간적 관계(Precedence, Subsequence, Co-occurrence)를 파악하고, 이에 맞춰 프레임별 가중치를 동적으로 할당합니다.
• Temporal Cue Extraction Framework
  • 자연어 쿼리에서 "before", "after", "during" 등의 시간적 마커를 추출하고, 이를 기반으로 Gaussian distribution이나 Linear decay/increase 함수를 적용해 프레임별 중요도 점수(Relevance Score)를 계산하는 구체적인 메커니즘을 설계했습니다.
• Model-Agnostic Integration & Optimization
  • TimeChat과 같이 타임스탬프를 인식하는 모델뿐만 아니라, LLaVA-Video처럼 시간 인식이 부족한 모델에도 적용 가능한 Temporal Adapter를 제안했습니다. 이는 비디오 인코더와 LLM 사이에 경량화된 레이어를 추가하여 프레임 위치 정보를 주입합니다.

---

Experimental Highlights

Datasets & Metrics:

• QVHighlights (Highlight Detection), Charades-STA (Temporal Grounding), VideoMME (General QA), EgoSchema 등을 사용하여 평가.
• 주요 지표: mAP, HIT@1, R@1 (IoU=0.5), Accuracy.
• 비교 대상(Baselines): Original VideoLLMs, PruMerge, ToMe, KeyVideoLLM, KVTP (SOTA).

Key Results:

• Efficiency vs. Performance: TimeChat 및 LLaVA-Video에 적용 시, FLOPs(연산량)를 65% 감소시키면서도 원본 성능의 97-99%를 유지했습니다.
• SOTA 달성 (Temporal Tasks):
  • QVHighlights: TimeChat + LGTTP 조합은 **HIT@1 43.7%**를 기록하며, 최신 가지치기 방법인 KVTP(34.2%) 대비 +9.5% 라는 압도적인 성능 향상을 보였습니다.
  • Charades-STA: R@1 (IoU=0.5)에서 46.5%를 기록하여 원본 모델(46.7%)과 거의 동일한 성능을 35%의 연산만으로 달성했습니다.
• General Video Understanding: VideoMME (7B/72B) 벤치마크에서도 원본 모델 대비 성능 하락폭이 0.6~1.1% 수준으로 미미하여, 일반적인 비디오 이해 능력도 보존함을 입증했습니다.
• Latency: NVIDIA A6000 GPU 기준, 1.54배의 속도 향상(Speedup)을 기록하며 실질적인 배포 효율성을 증명했습니다.

---

Limitations and Future Work

Limitations:

• Dependency on Explicit Cues: 쿼리에 "before", "after"와 같은 명시적인 시간적 단서가 없을 경우 성능 향상 폭이 줄어듭니다(단, 여전히 베이스라인보다는 높음).
• Complex Reasoning: "A를 하기 전에 B를 하고, 그 후에 C를 했다"와 같은 다중 제약 조건이나 복잡한 인과 관계가 얽힌 쿼리 처리는 여전히 어렵습니다.

Future Work:

• Richer Temporal Modeling: 단순한 단어 매칭을 넘어, 문맥에 숨겨진 암시적 시간 관계를 파악하는 고도화된 모델링 연구.
• Extension to Multimodal Architectures: 더 다양한 최신 멀티모달 모델 구조에 LGTTP를 적용하고 확장하는 방향.

---

Overall Summary

이 논문은 긴 비디오 처리 시 발생하는 계산 비용 문제를 해결하기 위해, 사용자의 질문(Language Query)을 가이드로 삼아 중요한 시간대의 시각 정보는 보존하고 덜 중요한 부분은 과감히 줄이는 LGTTP 기술을 제안했습니다. 특히 전체 프레임을 삭제하여 맥락을 끊는 기존 방식 대신, 중요도가 낮은 구간도 최소한의 정보를 남기는 Soft Selection 방식을 통해 65%의 연산량 절감에도 불구하고 SOTA 모델 대비 시간적 탐색 성능(HIT@1)을 9.5%나 향상시키는 성과를 거두었습니다. 이는 VideoLLM이 제한된 자원으로도 긴 비디오를 효율적이고 정확하게 이해할 수 있는 실용적인 길을 열었다는 점에서 중요한 의의를 가집니다.

---

쉬운 설명 (Easy Explanation)

이 논문의 핵심 아이디어:

우리가 긴 영화를 볼 때, 친구가 **"주인공이 악당을 만나기 전 상황을 알려줘"**라고 물었다고 가정해 봅시다.

1. 기존 방식 1 (Uniform Pruning): 영화의 모든 장면을 듬성듬성 대충 봅니다. 중요한 장면도 대충 넘길 수 있습니다.
2. 기존 방식 2 (Keyframe Selection): '악당 만남' 장면만 딱 골라보고 나머지는 아예 필름을 잘라버립니다. 이러면 앞뒤 문맥이 끊겨서 왜 만났는지 이해가 안 될 수 있습니다.
3. 이 논문의 방식 (LGTTP): 질문에 "전(before)"이라는 단어가 있으니, 악당을 만나기 이전 부분은 꼼꼼하게(토큰 많이) 보고, 만난 이후 부분은 아주 빠르게 훑어(토큰 조금, 하지만 아예 안 보지는 않음) 봅니다.

즉, **"질문이 가리키는 시간대는 자세히 보고, 나머지는 흐름만 파악할 정도로 대충 보자"**는 전략으로, 컴퓨터가 비디오를 처리하는 '에너지(계산량)'는 크게 아끼면서도 '정답'은 정확하게 맞추게 만든 기술입니다.

 

 

 

Abstract

Vision Language Models (VLMs)는 attention mechanisms의 quadratic complexity로 인해 long-form videos를 처리하는 데 어려움을 겪습니다. 우리는 query에서 얻은 temporal cues를 활용하여 video tokens를 적응적으로 prune함으로써, contextual continuity를 보존하면서 computational overhead를 줄이는 Language-Guided Temporal Token Pruning (LGTTP)을 제안합니다. Uniform pruning이나 keyframe selection과 달리, LGTTP는 시간적으로 관련성 있는 segments에서 더 높은 token density를 유지합니다. 우리의 model-agnostic framework는 TimeChat 및 LLaVA-Video와 통합되어, original performance의 97-99%를 보존하는 동시에 computation을 65% 감소시킵니다. QVHighlights에서 LGTTP는 HIT@1을 +9.5% 향상시켰으며, Charades-STA에서는 R@1의 99.6%를 유지합니다. 이 모델은 explicit temporal markers가 있는 query에서 탁월한 성능을 보이며 general video understanding tasks 전반에 걸쳐 여전히 효과적입니다. 코드는 다음 주소에서 이용 가능합니다: https://github.com/yogesh-iitj/LGTTP.

 

 

 

1 Introduction

TimeChat, LLaVA-Video, VideoLLaVA와 같은 Vision Language Models는 highlight detection부터 temporal grounding 및 video question answering에 이르기까지 다양한 video understanding tasks 전반에서 탁월한 capabilities를 입증했습니다. 그러나 이러한 models는 일반적으로 모든 frame을 visual tokens로 encode하고 각 query에 대해 전체 token sequence를 처리하기 때문에 long-form videos를 처리할 때 상당한 computational inefficiency에 직면합니다. Attention mechanism으로 인해 computational complexity가 sequence length에 따라 quadratically 증가하므로, 효율적인 token management가 실제 deployment를 위한 중요한 과제가 됩니다. Real-world video queries는 종종 특정 temporal segments를 대상으로 하므로 전체 sequence processing을 비효율적으로 만듭니다.

현재의 효율성 접근 방식은 두 가지 범주로 나뉘며 중대한 한계를 가집니다. (1) 개별 frames 내의 spatial redundancy를 줄이지만 temporal connections를 포착하지 못하는 PruMerge 및 ToMe와 같은 vision token pruning 방법; 그리고 (2) intermediate frames를 완전히 버림으로써 temporal context를 방해하는 KeyVideoLLM 및 VideoTree와 같은 keyframe selection 방법입니다. 이러한 한계는 highlight detection 및 temporal grounding과 같이 frames 전반에 걸쳐 temporal coherence를 유지하는 데 의존하는 temporal understanding tasks에 특히 문제가 됩니다. 게다가, uniform pruning은 시간에 따른 frames의 dynamic relevance를 간과하여 중요한 순간의 suboptimal retention을 초래합니다. 이는 temporally salient content를 적응적으로 보존하는 query-aware pruning strategies의 필요성을 부여합니다.

우리는 queries에서 추출한 temporal cues를 기반으로 pruning rates를 적응적으로 할당하여 이러한 한계를 해결하는 model-agnostic 접근 방식인 Language-Guided Temporal Token Pruning (LGTTP)을 제안합니다. LGTTP는 TimeChat 및 LLaVA-Video architectures 모두와 효과적으로 통합되며, 내장된 temporal awareness를 가진 models에서 특히 강점을 보입니다. Temporal elements를 활용함으로써, LGTTP는 computational requirements를 65% 줄이고 original performance의 97-99%를 유지하면서 temporal queries와 가장 관련성 높은 tokens를 보존합니다. 이를 통해 temporal coherence나 task accuracy를 저하시키지 않으면서 효율적인 long-form video processing이 가능해집니다.

구체적으로, 우리의 기여는 다음과 같습니다. (i) Token pruning을 guide하기 위해 natural language queries에서 temporal cues를 추출하는 model-agnostic framework. (ii) LGTTP를 VideoLLM architectures와 통합하는 방법으로, 특히 temporally-aware models를 위한 optimization을 포함합니다. (iii) Video understanding benchmarks 전반에 걸친 포괄적인 evaluation을 통해, LGTTP가 computational requirements를 크게 줄이면서도 near-original performance를 유지함을 입증했습니다.

 

1 Introduction 핵심 정리 노트

1. Problem Definition: Computational Inefficiency in Long-form Videos

• TimeChat, LLaVA-Video와 같은 **Vision Language Models (VLMs)**는 video understanding tasks에서 뛰어난 성능을 보임.
• 하지만 long-form videos 처리 시, 모든 frame을 visual tokens로 인코딩하고 전체 sequence를 처리하는 방식은 attention mechanism의 quadratic complexity로 인해 비효율적임.
• 실제 Real-world video queries는 전체가 아닌 특정 temporal segments를 타겟으로 하는 경우가 많음.

2. Limitations of Existing Efficiency Approaches

기존 방식들은 temporal understanding tasks (예: highlight detection, temporal grounding)에서 temporal coherence를 유지하는 데 한계가 있음.

• Vision token pruning (예: PruMerge, ToMe): 개별 frames 내의 spatial redundancy는 줄이지만, frames 간의 temporal connections를 포착하지 못함.
• Keyframe selection (예: KeyVideoLLM): Intermediate frames를 완전히 삭제하여 temporal context를 단절시킴.
• Uniform pruning: 시간에 따른 frames의 dynamic relevance를 고려하지 않아 중요하지 않은 순간과 중요한 순간을 동일하게 취급함.

3. Proposed Solution: Language-Guided Temporal Token Pruning (LGTTP)

• Core Idea: Natural language queries에서 추출한 temporal cues를 기반으로 pruning rates를 적응적으로 할당하는 query-aware pruning strategy.
• Methodology:
  • Model-agnostic framework로서 다양한 VideoLLM architectures와 통합 가능 (특히 temporally-aware models에서 효과적).
  • 단순 삭제가 아닌, temporal queries와 가장 관련성 높은 tokens를 보존하여 contextual continuity를 유지함.

4. Key Contributions & Performance

• Efficiency: Original performance의 $97\text{-}99%$를 유지하면서 computational requirements를 $65\%$ 감소시킴.
• Robustness: Temporal coherence나 task accuracy를 저하시키지 않고 효율적인 long-form video processing을 가능하게 함.

---

쉬운 설명 :

긴 영상을 AI가 효율적으로 보는 방법 (LGTTP)

기존의 똑똑한 AI 모델들은 긴 영상을 이해하려고 할 때, 영상의 처음부터 끝까지 모든 장면을 꼼꼼히 보느라 계산 시간이 너무 오래 걸리는 문제(비용이 비쌈)가 있었습니다.

이를 해결하기 위해 기존 연구들은 두 가지 방법을 썼습니다.

1. 화질 낮추기 (Token Pruning): 장면의 디테일을 뭉개서 처리량을 줄임 → 하지만 시간의 흐름(맥락)을 놓침.
2. 띄엄띄엄 보기 (Keyframe Selection): 중간중간 장면을 아예 건너뜀 → 중요한 연결 고리가 끊겨서 정교한 질문에 답하기 어려움.

이 논문에서 제안하는 LGTTP는 "사용자의 질문(Language)"을 힌트로 삼습니다.

예를 들어 사용자가 "주인공이 요리한 후에 설거지하는 장면 찾아줘"라고 물었다면, AI는 '요리하는 장면'과 '설거지하는 장면' 사이의 시간대에 집중하고 나머지 부분은 대폭 줄여서(Pruning) 처리합니다.

즉, 질문에 담긴 시간 정보(Temporal Cues)를 이용해서 "어디를 집중해서 보고 어디를 대충 넘길지" AI 스스로 판단하게 만든 것입니다. 결과적으로 AI는 성능은 거의 그대로 유지하면서(99% 보존), 계산량은 절반 이상(65% 감소) 줄일 수 있게 되었습니다.

 

 

 

 

2 Language-Guided Temporal Token Pruning (LGTTP) Framework

Overview and Motivation. Figure 1에서 볼 수 있듯이, LGTTP는 VideoLLMs의 근본적인 efficiency challenge를 해결합니다. 모든 frames가 주어진 query에 동등하게 관련되어 있지는 않으며, 특히 temporal understanding tasks의 경우 더욱 그렇습니다. 기존 접근 방식들이 tokens를 균일하게 prune하거나 전체 keyframes를 선택하는 반면, LGTTP는 contextual continuity를 유지하면서 시간적으로 가장 관련성 높은(temporally relevant) tokens를 적응적으로 보존합니다. 우리의 접근 방식은 다음의 주요 구성 요소들로 이루어져 있습니다. Queries로부터의 temporal cue extraction, 다양한 models를 위한 temporally-aware relevance prediction, 그리고 예측된 relevance에 기반한 adaptive token pruning입니다. Queries 내의 temporal indicators를 활용함으로써, 우리는 video의 가장 관련성 높은 segments에 computational resources를 집중시킬 수 있습니다.

Temporal Cue Extraction. Natural language queries는 종종 우리의 pruning strategy를 guide하는 풍부한 temporal information을 포함하고 있습니다. Query $Q$가 주어지면, 우리는 두 단계를 거쳐 temporal information을 추출합니다. 첫째, pattern matching과 fine-tuned classifier를 사용하여 temporal markers (예: "before", "after", "during")를 식별하고, 이를 Precedence, Subsequence, 또는 Co-occurrence relationships로 분류합니다. 둘째, reference events와 그들의 잠재적인 temporal positions를 추출합니다. 예를 들어, "after talking to the coach"에서 우리는 "talking to the coach"가 video의 앞부분에서 발생한 것으로 식별합니다. 이러한 temporal knowledge는 moments of interest를 포함할 가능성이 높은 frames를 우선순위화하는 데 도움을 줍니다.

Adaptation to VideoLLM Architectures. LGTTP는 temporal awareness capabilities에 따라 다양한 VideoLLM architectures와 통합됩니다. 입력된 sampled frames $f_1, f_2, ..., f_N$이 주어지면, 서로 다른 models는 각자의 vision encoders를 통해 initial embeddings $E = {e_1, e_2, ..., e_N}$을 생성합니다. 그런 다음 우리는 model의 capabilities에 기반하여 temporally-adapted embeddings $E' = {e'_1, e'_2, ..., e'_N}$을 생성합니다. TimeChat과 같은 timestamp-aware models의 경우, embeddings가 이미 temporal information을 포함하고 있는 기존의 timestamp bindings를 활용합니다.

Temporal instructions를 사용하는 models (예: LLaVA-Video)의 경우, normalized frame positions에 기반한 lightweight temporal position embeddings를 추가합니다. 여기서 각 frame embedding $e_i$는 $P_{temp}(i/N)$로 증강되어 adapted embeddings $e'i = e_i + P{temp}(i/N)$를 생성합니다. 여기서 $P_{temp}(x) = W_p \cdot x + b_p$는 normalized positions를 temporal features로 매핑하는 학습된 linear function이며, 이때 $W_p \in \mathbb{R}^{d \times 1}$이고 $b_p \in \mathbb{R}^d$입니다.

Explicit temporal awareness가 없는 표준 VLMs의 경우, frame indices를 positional embeddings로 투영하는 temporal adapter를 도입하여 각 frame $i$에 대해 adapted embeddings를 $e'i = e_i + A{temp}(i)$로 계산합니다. Temporal adapter function $A_{temp}(i) = \text{scale} \times \text{MLP}(\text{temporal_embed}(i))$는 embedding layer를 two-layer MLP 및 learnable scaling factor와 결합합니다.

Temporally-adapted embeddings $E'$을 얻은 후, 우리는 query embedding $e_q = F_{text}(Q)$를 처리하고 다음을 계산하여 relevance scores를 구합니다:

$L_{base} = a \cdot \text{cos\_sim}(E', e_q) + b$ (1)

여기서 $a$와 $b$는 learnable parameters입니다. 그 후 우리는 weighting mechanism을 통해 추출된 temporal cues를 통합합니다:

$L_{temp} = L_{base} \odot W_{temp}$ (2)

여기서 $W_{temp}$는 식별된 temporal relationships에 기반하여 frames를 우선순위화합니다. 다음으로, temporal weights $W_{temp} = \{w_1, w_2, ..., w_N\}$ 생성에 대해 설명합니다.

Temporal Weight Generation. 추출된 temporal markers와 reference events는 pruning process를 guide하는 frame-wise temporal weights $W_{temp} = {w_1, w_2, ..., w_N}$으로 변환됩니다. 우리의 weighting strategy는 human temporal reasoning을 반영하여, 더 넓은 context를 보존하면서 relevant segments에 attention을 집중시킵니다.

Precedence markers ("before", "prior to")의 경우, later context를 보존하면서 earlier frames를 우선순위화하는 linearly decreasing weights를 적용합니다:

$w_i = 1.5 - \frac{i - 1}{N - 1}$ for $i = 1, 2, ..., N$. (3)

이 linear decay는 시작 부분에 가까운 frames가 더 높은 retention rates (baseline의 최대 1.5배)를 받도록 보장하는 한편, 나중의 frames는 최소한의 context (baseline의 0.5배까지)를 유지하게 합니다.

Subsequence markers ("after", "following")의 경우, later temporal segments를 강조하기 위해 반대 패턴을 적용합니다:

$w_i = 0.5 + \frac{i - 1}{N - 1}$ for $i = 1, 2, ..., N$. (4)

이러한 linear increase는 기준점 "after"의 events가 video의 뒷부분에서 발생할 가능성이 더 높다는 temporal logic을 반영합니다.

Co-occurrence markers ("during", "while")의 경우, co-occurring events가 종종 video segments의 중앙 부분에서 발생한다는 관찰에 동기를 부여받아 middle frames에 중심을 둔 Gaussian-like distribution을 사용합니다:

$w_i = \exp(-\lambda \cdot |\frac{i-1}{N-1} - 0.5|)$ (5)

여기서 $\lambda$는 중심 주변의 concentration을 제어합니다. 이 exponential decay는 central frames에 대한 날카로운 focus를 보장하면서 temporal coherence를 위해 peripheral frames로부터 충분한 context를 유지합니다.

Weight range $[0.5, 1.5]$는 의미 있는 차별화를 제공하는 동시에 contextual understanding을 방해할 수 있는 과도한 token elimination을 방지하기 위해 선택되었습니다. Explicit temporal markers가 없는 queries의 경우, bias 도입을 피하기 위해 uniform weights $w_i = 1.0$을 유지합니다. 하나의 query 내에서 여러 temporal relationships가 감지되면, 전체 pruning magnitude를 보존하면서 복합적인 temporal focus를 포착하기 위해 element-wise multiplication 후 normalization을 통해 weights를 결합합니다.

Temporally-Adaptive Token Pruning. 마지막 단계는 temporal relevance scores를 frame-specific pruning rates로 변환합니다:

$R = (r_1, r_2, ..., r_N) = \alpha N \cdot \text{softmax}(L_{temp})$ (6)

여기서 $\alpha$는 전체 pruning rate를 제어하고 $N$은 frame count입니다. 이는 frames 전반에 걸친 평균 pruning rate가 대략 $\alpha$가 되도록 보장하면서, 분포는 temporal relevance에 따라 달라지게 합니다.

결정적으로, 우리는 hard keyframe selection 대신 soft selection을 채택합니다. 각 frame에 대해 우리는 다음을 유지합니다:

$T_i = \max(T_{min}, \lceil(1 - r_i) \cdot T_{full}\rceil)$ (7)

만큼의 tokens를 유지하며, 여기서 $T_{min}$은 최소 token count (일반적으로 원래 count $T_{full}$의 10%)입니다. 이는 관련성이 낮은 frames에서도 일부 tokens를 유지함으로써 contextual continuity를 보존합니다.

Temporal Marker Classification. 우리는 manual annotation 없이 weakly supervised approach를 사용하여 temporal marker classifier를 개발합니다. Temporal expressions의 lexicon (예: "before", "after", "during", "while", "when")은 기존 NLP resources로부터 구축되며, QVHighlights, Charades-STA, VideoMME의 queries에서 markers를 식별하고 분류하기 위해 rule-based pattern matching이 적용됩니다.

생성된 dataset은 frozen BERT embeddings 위에 있는 2-layer MLP classifier를 학습시킵니다. Robustness를 향상시키기 위해 data augmentation (예: synonym replacement, word reordering)을 적용하고 explicit markers가 없는 queries를 negative examples로 포함시킵니다. Implicit temporal cues가 있는 queries (예: "show the beginning")의 경우, manual labeling 없이 relationships를 추론하기 위해 사전 정의된 vocabulary와 relative timeline positions를 사용합니다.

 

 

2 Language-Guided Temporal Token Pruning (LGTTP) Framework 핵심 정리 노트

1. Overview & Core Motivation

• Problem: VideoLLM에서 모든 frame이 query와 동일한 관련성을 갖지 않음. 기존의 uniform pruning이나 hard keyframe selection은 temporal context를 훼손함.
• Solution: Query에서 Temporal Cue를 추출하여 frame별 Pruning Rate를 적응적으로 조절하는 LGTTP 제안.
• Goal: Contextual Continuity를 유지하면서 Temporally Relevant Tokens의 밀도를 높여 연산 효율성 확보.

2. Temporal Cue Extraction (Query Processing)

• Two-stage Extraction:
  1. Marker Identification: Pattern matching 및 classifier를 통해 marker(e.g., "before", "after")를 식별하고 Precedence, Subsequence, Co-occurrence 관계로 분류.
  2. Event Localization: Reference event(e.g., "talking to the coach")를 추출하고 상대적인 temporal position을 파악.

3. Architecture-Specific Adaptation

Model의 Temporal Awareness 수준에 따라 embedding 전략을 차별화:

• Timestamp-aware Models (e.g., TimeChat): 기존 timestamp binding 활용.
• Instruction-based Models (e.g., LLaVA-Video): Normalized frame position 기반의 Learnable Linear Function $P_{temp}(x) = W_p \cdot x + b_p$를 통해 frame embedding 증강 ($e'_i = e_i + P_{temp}(i/N)$).
• Standard VLMs (No explicit awareness): Temporal Adapter 도입. Frame index를 embedding으로 변환 후 MLP와 learnable scaling factor를 거쳐 visual embedding에 주입 ($e'_i = e_i + A_{temp}(i)$).

4. Temporal Weight Generation Strategy

Human temporal reasoning을 모방하여 관계 유형별로 Weight Distribution $W_{temp}$ 설계:

• Precedence ("before"): Linearly Decreasing. 앞쪽 frame에 가중치 부여 (Max $1.5\times$ ~ Min $0.5\times$).
  • $w_i = 1.5 - \frac{i - 1}{N - 1}$
• Subsequence ("after"): Linearly Increasing. 뒤쪽 frame에 가중치 부여.
  • $w_i = 0.5 + \frac{i - 1}{N - 1}$
• Co-occurrence ("during"): Gaussian-like Distribution. 중앙 frame에 집중 ($e^{-\lambda |\dots|}$).
  • $w_i = \exp(-\lambda \cdot |\frac{i-1}{N-1} - 0.5|)$
• Implicit/No Marker: Bias 방지를 위해 Uniform weight ($w_i = 1.0$) 적용.

5. Temporally-Adaptive Token Pruning (Soft Selection)

• Relevance Scoring: Base relevance(Cosine Sim)에 Temporal Weight를 적용하여 최종 score 산출 ($L_{temp} = L_{base} \odot W_{temp}$).
• Soft Selection Mechanism: Hard selection(frame 삭제) 대신 Token Count를 조절. 중요도가 낮은 frame도 최소한의 token($T_{min}$)을 유지하여 Contextual Continuity 보장.
  • Retained Tokens $T_i = \max(T_{min}, \lceil(1 - r_i) \cdot T_{full}\rceil)$

6. Implementation Detail

• Weakly Supervised Classifier: Manual annotation 없이 기존 NLP resource와 rule-based matching으로 구축한 dataset을 사용하여 2-layer MLP classifier 학습 (BERT embeddings 기반).

---

쉬운 설명 :

AI가 질문에 맞춰 영상을 '강약 조절'하며 읽는 법

이 섹션은 LGTTP가 실제로 어떻게 작동하는지 구체적인 방법을 설명합니다. 핵심은 **"질문에 있는 시간 힌트(Temporal Cue)를 보고, 영상의 어느 부분을 자세히 볼지 결정한다"**는 것입니다.

1. 힌트 찾기: 사용자가 "요리한 후에 먹는 장면"을 물어보면, AI는 "후에(After)"라는 단어를 보고 "아, 앞부분보다는 뒷부분이 중요하겠구나"라고 판단합니다.
2. 가중치 주기 (사람처럼 생각하기):
   • "~전에(Before)": 영상의 앞부분을 중요하게(1.5배), 뒷부분은 대충(0.5배) 봅니다.
   • "~후에(After)": 반대로 앞부분은 대충, 뒷부분을 중요하게 봅니다.
   • "~하는 동안(During)": 영상의 중간 부분을 집중해서 봅니다.
3. 부드러운 가지치기 (Soft Selection): 기존 방식처럼 중요하지 않은 장면을 아예 삭제해버리면(Hard Selection) 흐름이 끊깁니다. 대신 LGTTP는 "중요하지 않은 장면은 조금만(예: 10%) 남겨두고, 중요한 장면은 많이 남겨두는" 방식을 씁니다. 이렇게 하면 계산량은 줄이면서도 전체적인 내용 흐름은 놓치지 않을 수 있습니다.
4. 어떤 모델이든 OK: 이미 시간을 잘 아는 모델(TimeChat)뿐만 아니라, 시간 개념이 없는 일반 모델에도 '시간 감각'을 더해주는 장치(Adapter)를 달아서 이 기술을 쓸 수 있게 만들었습니다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1. Input (입력)
사용자가 비디오 파일과 시간적 단서(예: "before", "during")가 포함된 **자연어 질문(Query)**을 입력합니다.

2. Visual Encoding (시각 정보 변환)
비디오의 모든 프레임을 Vision Encoder에 통과시켜, 컴퓨터가 처리할 수 있는 **기초 시각 토큰(Visual Embeddings)**들로 변환합니다.

3. Temporal Cue Extraction (시간 단서 추출 & 분류)
동시에 **학습된 분류기(Classifier)**가 질문을 분석하여, 이 질문이 전(Before) / 후(After) / 동시(During) 중 어떤 시간 관계인지 유형을 판별합니다.

4. Weight Generation (시간 가중치 곡선 생성)
판별된 유형에 따라 프레임별 중요도를 조절할 수학적 곡선(예: 우하향 직선, 종 모양 곡선 등)을 생성합니다.

5. Temporal Adaptation (시간 정보 주입)
시각 토큰들이 순서를 알 수 있도록, 학습된 Temporal Adapter가 각 프레임 토큰에 **시간 위치 정보(Positional Embedding)**를 더해줍니다.

6. Relevance Scoring (최종 중요도 계산)
[질문과 이미지의 유사도]에 [4번에서 만든 시간 가중치]를 반영하여, 각 프레임이 몇 개의 토큰을 가질 자격이 있는지 최종 점수를 매깁니다.

7. Adaptive Token Pruning (적응형 가지치기)
점수에 비례해 토큰 개수를 할당하되, 점수가 낮은 프레임도 최소한(약 10%)은 남기는 Soft Selection 방식으로 **실제 토큰을 감축(Pruning)**합니다.

8. LLM Processing (거대 언어 모델 입력)
가지치기를 통해 용량은 65% 줄었지만 시간 맥락은 보존된 토큰들만 **LLM(Large Language Model)**에 입력합니다.

9. Output (출력)
LLM이 효율적으로 압축된 비디오 정보를 바탕으로, 사용자의 질문에 맞는 정확한 답변을 생성합니다.

 

 

 

N개의 프레임 샘플링, 쿼리를 입력 받음
각 프레임의 임베딩을 얻음

시간 포지셔널 임베딩을 더해줌.

쿼리도 임베딩 시킴

쿼리 내의 텍스트를 분석해서 before after during 같은 마커를 추출후 해당 영역의 이벤트도 텍스트로 추출
이건 간단한 모델을 학습시켜서 진행

기준 사건을 기준으로 핵심이 되는 영역에 가중치를 높기 주기 위해
before이면 앞부분부터 뒷부분까지 감소하는 형태
after면 반대
during이면 종모양

 

그리고 None이라면 균일 가중치를 사용.


원본 질문과 특정 정 구간에 얼마나 유사한지 보기 위해 각 구간별로 코사인 유사도(질문과 프레임별로)를 계산함 

그 두개를 곱해서 최종 점수를 매김.

점수에소프트맥스를 적용해서 각 프레임별로 얼마나 제거할지를 측정

각 프레임별로 소프트 맥스 점수에 따라 제거 하지만 최소 보장 비율은 있음.

그래서 토큰을 남기고 llm의 입력으로 사용