VLM : 빠른 논문 리뷰 : Perception Encoder: The best visual embeddings are not at the output of the network

Key Terminology (용어 설명)

• Perception Encoder (PE): 이 논문에서 제안하는 image 및 video 이해를 위한 대규모 vision encoder family로, 기본 모델인 PE_core와 이를 downstream task에 맞게 정렬한 PE_lang, PE_spatial로 구성됨.
• Alignment Tuning: 네트워크의 intermediate layers에 숨겨져 있는 강력한 general features를 모델의 final output layer로 끌어올리기(lift) 위해 수행하는 후속 학습 기법.
• Global Tokens: Vision Transformer가 일정 스케일 이상 커질 때 특정 레이어(PE_core G 기준 Layer 33)부터 배경 패치 일부가 전역 정보를 집계(aggregate)하기 시작하는 현상. Semantic task에는 유리하지만 순수 local spatial correspondence를 해치는 원인이 됨.
• Video Data Engine: 비디오 데이터 부족 문제를 해결하기 위해, 초기 PE 기반 video captioner(PLM), image frame captioner(Llama 3.2), video metadata를 LLM(Llama 3.3 70B)으로 통합 요약하여 고품질의 정렬된(aligned) synthetic video caption을 생성하는 파이프라인.
• PVD (PE Video Dataset): Video data engine 학습 및 평가를 위해 구축 및 공개한 데이터셋. 1M개의 motion-centered 비디오와 120K개의 human-refined caption으로 구성되며, 이 중 15K는 PVD Benchmark로 사용됨.
• SAM 2.1 Mask Logits Distillation: Spatial alignment 시 SAM의 raw feature에 존재하는 global token 아티팩트를 피하기 위해, 32x32 그리드 포인트 쿼리에 대한 SAM 2.1의 mask logit 예측값(H x W x 1024 텐서) 자체를 feature map으로 삼아 토큰 간 pairwise cosine similarity를 학습하는 기법.

---

Purpose of the Paper

• 기존 연구의 한계: 기존 vision encoder들은 classification/retrieval을 위한 contrastive loss, MLLM을 위한 captioning loss, detection 등 dense prediction을 위한 spatially self-supervised loss 등 downstream task별로 각기 다른 pretraining objective에 의존했음. 이들을 결합하려는 시도들은 use case가 늘어날수록 복잡도가 기하급수적으로 증가하여 scaling이 어렵다는 문제가 있었음. 또한 최근 연구들은 순수 CLIP 모델이 downstream task에서 scaling되지 않는다고 지적함.
• 새로운 발견 및 문제 정의: 저자들은 잘 튜닝된 global vision-language contrastive learning만으로도 OCR, VQA, detection, depth estimation, tracking 등 모든 downstream task에서 각 분야 특화 모델(AIMv2, DINOv2)에필적하거나 능가하는 general features가 이미 학습된다는 것을 발견함. 단, 이 최적의 features는 네트워크의 output이 아니라 서로 다른 intermediate layers에 숨겨져 있고 마지막 레이어에서는 성능이 급격히 떨어지는 Alignment Problem이 존재함.
• 차별화된 접근 방식: 복잡한 다중 pretraining objective를 결합하는 대신, 단일하고 확장하기 쉬운 contrastive pretraining(PE_core)을 극한으로 튜닝 및 스케일링한 뒤, 가벼운 Alignment Tuning(Language Alignment 및 Spatial Alignment)을 통해 중간 레이어의 강력한 feature들을 네트워크의 끝단(output)으로 끌어내는 새로운 패러다임을 제시함.

---

Key Contributions & Novelty

• Robust Image Pretraining Recipe 및 Unified Image-Video Encoder (PE_core) 구축
  • Contribution: Progressive resolution, LAMB optimizer와 높은 learning rate(2e-3), 2D RoPE, class token을 유지한 Attention Pooling, heavy random cropping 및 horizontal flip data augmentation, disjoint gradient를 적용한 MaskFeat 기반 Mask Regularization을 결합한 레시피를 개발하고 2B 파라미터(G scale)로 확장함.
  • Novelty: 순수 CLIP 모델이 downstream task에서 scaling되지 않는다는 기존 통념을 깨고, 특히 progressive resolution이 global token에 대한 과적합을 막아 중간 레이어의 downstream spatial/language feature 성능을 비약적으로(COCO detection 기준 best layer +10 mAP) 향상시킴을 규명함. 또한 horizontal flip이 OCR을 해치지 않고 오히려 뒤집힌 글씨를 읽는 능력(TextCaps Flip에서 0.1%만 하락)을 부여함을 발견함.
• Video Data Engine 및 PVD (PE Video Dataset) 공개
  • Contribution: PLM video caption, frame caption, metadata를 LLM으로 요약해 22M 비디오에 대한 aligned caption을 생성하고, 단 8개의 균일 샘플링된 프레임의 embedding을 단순 average pooling하여 PE_core를 finetuning함. 아울러 1M 비디오(120K human-refined)로 구성된 PVD를 공개함.
  • Novelty: 복잡한 temporal attention 없이 단순 frame average pooling과 고품질 synthetic video finetuning만으로도 비디오뿐만 아니라 이미지 zero-shot 성능(ObjectNet +1.2%, ImageNet Adversarial +1.4%, retrieval +3.6%)까지 동시에 크게 향상시키는 상호보완적 시너지를 입증함.
• Intermediate Layer Feature의 심층 분석 및 Global Token의 역할 규명
  • Contribution: PE_core G(총 50 레이어) 내부를 분석하여, Layer 32까지는 attention이 local하게 유지되어 zero-shot tracking이 최고 성능을 찍고, Layer 33부터 배경에 global token이 등장하며 마지막 18개 레이어가 global CLIP 토큰 생성을 위한 일종의 'decoder'처럼 작동함을 밝혀냄.
  • Novelty: Detection이나 depth estimation 같은 semantic spatial task는 global token이 집약된 Layer 40 부근에서 최고 성능을 내는 반면, 순수 correspondence에 의존하는 tracking은 global token 등장 직전인 Layer 32에서 피크를 찍는다는 spatial task 내의 이분법적 현상(dichotomy)의 원인을 시각적·구조적으로 명확히 규명함.
• Language Alignment (PE_lang) 방법론
  • Contribution: PE_core G의 마지막 3개 레이어를 버리고 최적의 중간 레이어인 Layer 47 위에 2-layer MLP projector와 Llama 3.2 3B를 연결한 뒤, LayerScale 및 DropPath regularization을 적용해 70M 샘플로 next-token prediction 학습을 수행함.
  • Novelty: Alignment 학습 데이터에 grounding 데이터가 전혀 포함되지 않았음에도, 중간 레이어에 내재된 grounding feature가 마지막 레이어로 성공적으로 끌어올려져 RefCOCO grounding 성능이 대폭 상승함을 보임. 또한 특정 LLM(Llama)에 맞춰 정렬했음에도 다른 LLM(QwenLM 2.5)으로 전이(transfer)했을 때 해당 LLM 전용으로 학습된 인코더(InternViT2.5)보다 뛰어난 범용성을 보임.
• Spatial Alignment (PE_spatial) 방법론
  • Contribution: 의미론적 정보(semantics) 유지를 위해 모델 자신의 frozen Layer 41 feature를 self-distillation(cosine similarity 최소화 + 75% MaskFeat)하고, 지역적 정교함(locality) 강화를 위해 SAM 2.1의 mask logit을 활용한 spatial correspondence distillation을 동시에 수행함.
  • Novelty: 기존 연구들이 multi-teacher distillation에서 SAM을 사용할 때 실패했던 이유가 SAM의 raw feature 자체에도 global token 아티팩트가 있기 때문임을 밝혀냄. 이를 해결하기 위해 SAM의 내부 feature 대신 32x32 그리드 포인트에 대한 출력 mask logits (H x W x 1024) 자체를 feature map으로 삼아 토큰 간 pairwise cosine similarity 행렬을 MSE loss로 정렬하는 독창적인 기법을 고안함.

---

Experimental Highlights

• Zero-Shot Image & Video (PE_core G):
  • Google의 비공개 데이터셋(JFT-3B, WebLI) 없이 공개 데이터만으로 3년 만에 처음으로 모든 주요 zero-shot image 벤치마크 SOTA를 경신함.
  • ImageNet Robustness (6개 벤치마크 평균): 86.6% 달성 (SigLIP2-g-opt 86.2%, CoCa 85.7% 능가).
  • Fine-grained Classification: iNaturalist zero-shot에서 **41.1%**로 SigLIP2-g-opt(31.5%) 대비 +9.6% 향상. 전체 313개 클래스를 사용한 full ObjectNet에서도 79.0%로 최고 성능 기록.
  • Video Zero-Shot: 단순 8-frame average pooling만으로 **Kinetics-400 76.9%**를 기록하며, 619M 비디오로 학습한 전용 비디오 모델 VideoPrism-g(76.4%) 및 InternVideo2(73.1%)를 단 22M 비디오 finetuning으로 능가함. PVD Benchmark retrieval에서도 text-to-video 77.0%로 InternVL(63.4%)을 +13.6% 앞섬.
  • Smaller Model Distillation: PE_core G를 teacher로 삼아 B, L 모델을 distillation할 때, teacher의 softmax temperature를 학생의 0.5배(즉, logit scale을 100에서 200으로 두 배 높여 분포를 날카롭게 만듦)로 설정하여 B 모델의 평균 robustness를 66.2%에서 68.3%로 크게 끌어올림.
• Multimodal Language Modeling (PE_lang G):
  • 동일한 MLLM 벤치마킹 세팅(Llama 3.1 8B 및 QwenLM 2.5 7B 연결)에서 MetaCLIP, SigLIP2, AIMv2-3B, DINOv2-g, 그리고 3배 더 큰 InternViT2.5-6B(5.5B)를 모든 카테고리(OCR, VQA, Captioning, Grounding, Video)에서 평균 +3.5 포인트 이상 압도함.
  • System-Level MLLM (PLM-8B): PE_lang G에 36 tiles(이미지)/32 frames(비디오) 및 Llama 3.1 8B를 결합한 PLM-8B 모델이 DocVQA 94.6, InfoVQA 80.9, PerceptionTest 82.7을 기록하며 Qwen2-VL, InternVL 2.5, InternVL 3 등 최신 오픈소스 MLLM들을 능가함.
• Spatial Tasks & Dense Prediction (PE_spatial G):
  • Frozen Feature Evaluation: DAVIS zero-shot tracking에서 61.5 J&F(DINOv2-g 58.5), ADE20k linear probing에서 49.3 mIoU(DINOv2-g 48.7), NYU depth estimation에서 0.262 RMSE(DINOv2-g 0.279)를 기록하며 모든 dense prediction에서 마지막 레이어 기준 SOTA 달성.
  • System-Level Object Detection: Alignment 과정에서 어떠한 detection 데이터도 사용하지 않았음에도, Objects365로 사전학습 후 간단한 DETR 스타일 디코더(DETA)만 붙여 COCO val2017 66.0 box mAP를 달성. 이는 복잡한 detection 전용 백본과 디코더(InternImage-G + DINO 65.3, EVA02-L + CoDETR 65.9)를 넘어서는 새로운 SOTA 기록임.

---

Limitations and Future Work

• Contrastive Loss의 구조적 한계 (Obfuscation of General Features):
  • 한계점: Robust pretraining 레시피를 적용하더라도 contrastive loss 자체의 특성상 마지막 레이어들(PE_core G의 경우 마지막 18개 레이어)이 global token을 통해 전역 정보를 집약하는 디코더 역할을 하게 됨. 이로 인해 모델이 단일 체크포인트로 모든 downstream task에 즉시 사용되지 못하고, 별도의 Alignment Tuning 단계를 거쳐야만 숨겨진 feature를 끝단으로 꺼낼 수 있음.
  • 의미 및 향후 방향: 사전학습 단계에서부터 global representation과 local/language representation이 마지막 레이어에서 충돌하지 않고 공존하도록 만들거나, 단일 alignment 과정만으로 language와 spatial 특성을 동시에 완벽히 보존하는 통합 정렬 기법에 대한 후속 연구로 이어질 수 있음.
• Spatial Alignment에서의 Tracking과 Semantics 간의 미묘한 Trade-off:
  • 한계점: SAM 2.1 mask logit만을 단독으로 정렬할 때보다 Layer 41 self-distillation을 결합한 PE_spatial G에서 DAVIS tracking 성능이 소폭 하락함(그래프상 SAM 단독 정렬 대비 약간 낮으나 여전히 기존 모델들보다는 높음). 또한 기존 spatial 모델들(DINOv2, SigLIP2)이 사용하는 EMA(Exponential Moving Average) teacher 방식을 단순화를 위해 생략함.
  • 의미 및 향후 방향: 저자들이 언급했듯 고정된 teacher 대신 EMA teacher를 도입하거나 두 loss 간의 밸런스를 정교화함으로써 tracking의 극단적인 boundary locality와 고차원 semantics 간의 trade-off를 더욱 줄일 수 있는 발전 가능성이 있음.
• Video Data Scaling 및 Temporal Modeling의 확장성:
  • 한계점: 비디오 인코딩 시 8개 프레임의 단순 average pooling만을 사용했으며, 17M~22M 비디오 스케일링 실험에서 비디오 분류 및 검색 성능이 전혀 수렴(plateau)하지 않고 계속 선형적으로 상승하는 추세를 보임.
  • 의미 및 향후 방향: 구축한 Video Data Engine을 활용해 합성 비디오 데이터를 수천만~수억 단위로 더 크게 스케일링할 경우 성능이 계속 향상될 여지가 충분하며, 공개된 PVD 데이터셋과 결합해 더 정교한 시공간(spatio-temporal) 이해 연구를 촉진할 수 있음.

---

Overall Summary

이 논문은 복잡하게 여러 학습 목표를 섞지 않고도, 정교하게 튜닝된 **단일 vision-language contrastive learning(PE_core)**만으로 분류, 검색, MLLM, 그리고 객체 탐지나 깊이 추정 같은 공간 작업(spatial tasks) 모두를 위한 최고 수준의 general visual embeddings를 학습할 수 있음을 증명합니다. 핵심 발견은 이러한 최고의 특징들이 네트워크의 출력단이 아닌 **중간 레이어(intermediate layers)**에 숨겨져 있다는 것이며, 저자들은 이를 출력단으로 끌어올리기 위해 **Language Alignment(PE_lang)**와 SAM 2.1의 mask logit을 활용한 **Spatial Alignment(PE_spatial)**라는 두 가지 간단하고 효과적인 정렬 기법을 제안합니다. 그 결과, 제안된 Perception Encoder 패밀리는 ImageNet robustness(86.6%), Kinetics-400(76.9%), MLLM 벤치마크, 그리고 COCO 객체 탐지(66.0 box mAP)에 이르기까지 시각 인공지능의 거의 모든 영역에서 기존 특화 모델들을 넘어서는 새로운 state-of-the-art를 달성했습니다. 이 연구는 "단일하고 확장하기 쉬운 사전학습 + 가벼운 후속 정렬"이라는 명확한 패러다임을 제시함으로써, 향후 대규모 비전 파운데이션 모델 개발의 복잡도를 낮추고 확장성을 극대화하는 중요한 전환점을 마련했습니다.

---

쉬운 설명

이 논문의 핵심 아이디어는 **"한 우물(Contrastive Learning)만 깊고 제대로 파면, 그 땅속 중간중간에 다른 모든 작업(언어 모델링, 위치 찾기, 깊이 추정 등)을 위한 보물(최고급 시각 특징)이 이미 다 묻혀 있다"**는 발견에서 출발합니다. 기존에는 시험 과목(분류, 대화, 위치 찾기)마다 각기 다른 공부법(학습 손실 함수)을 복잡하게 섞어서 모델을 가르쳤다면, 이 논문은 가장 기본이 되는 '이미지와 텍스트 짝맞추기(Contrastive Learning)' 공부법 하나로만 모델을 아주 튼튼하게 학습시킵니다. 그랬더니 놀랍게도 모델의 머릿속 **중간 층(Intermediate Layers)**에는 이미 모든 과목을 만점 받을 수 있는 지식이 들어있었고, 단지 입 밖(네트워크의 마지막 출력층)으로 꺼내지 못하고 있었을 뿐이었습니다. 따라서 저자들은 이 숨겨진 지식을 입 밖으로 자연스럽게 끌어내는 두 가지 간단한 '말하기/그리기 연습(Alignment Tuning)'만을 추가하여, 모든 시각 시험 과목에서 1등을 차지하는 만능 시각 모델을 완성한 것입니다.

 

 

 

Perception Encoder (PE)

이미지 + 짧은 설명문 alt-text를 대량으로 입력해서

학습 task는 Image–Text Contrastive Learning, 즉 CLIP 방식
- 맞는 이미지 ↔ 설명은 가깝게
- 틀린 이미지 ↔ 설명은 멀게


Video finetuning → 최종 PEcore
비디오 + 비디오 설명문 데이터를 사용해서 
비디오에서는 8 frames를 뽑아서 각각 PE로 encode한 뒤 평균해서 하나의 video representation을 만들고 

Video ↔ Video caption
이 서로 잘 매칭되도록 똑같은 contrastive learning