VLM : 빠른 논문 리뷰 : Seeing to Generalize: How Visual Data Corrects Binding Shortcuts

용어 설명 (Terminology)

• Binding (Variable Binding): 모델이 문맥(context) 내에서 특정 개체(entity, 예: 모양)와 그에 해당하는 속성(attribute, 예: 색상)을 올바르게 연결하고 추적하는 능력.
• Positional Binding: 토큰의 의미(semantic content)가 아닌 시퀀스 내의 순서나 절대적/상대적 위치 인덱스(position index)에 의존하여 정보를 연결하는 메커니즘. 학습 데이터 내에서는 효율적인 지름길(shortcut)로 작동하지만, 문맥 길이가 길어지면(OOD) 쉽게 무너짐.
• Symbolic Binding (Lexical Binding): 위치와 무관하게 토큰의 실제 의미적 내용(semantic identity)을 키(key)로 사용하여 개체와 속성을 직접 매칭하고 정보를 전달하는 메커니즘. 문맥 길이에 영향을 받지 않아 일반화(generalization) 성능이 뛰어남.
• Reflexive Binding: 타겟이 쿼리보다 앞에 등장하여 직접적인 attention이 어려울 때, 포인터(pointer) 같은 자기 참조(self-referential) 방식을 통해 정보를 연결하거나 이전 스텝에 저장된 활성화 값을 읽어오는 메커니즘.
• Translation Invariance (공간적 이동 불변성): 이미지 내에서 객체(예: 빨간 원)의 공간적 위치가 어디로 이동하더라도 그 객체의 본질적인 의미는 변하지 않는 시각적 특성.
• Indirect Retrieval Task: 단순 1단계 조회(Direct Retrieval)를 넘어, '속성(색상) → 개체(모양) → 타겟 아이템(레이블)'으로 이어지는 2단계(1-hop)의 compositional reasoning을 요구하는 합성 정보 검색 작업.
• Unattendable Noise Tokens: 모델이 attention을 줄 수 없도록 마스킹 처리된 더미 토큰. 의미적 정보 추가 없이 시퀀스의 물리적 길이(positional range)만 인위적으로 늘리기 위해 문맥 사이에 삽입함.
• Interchange Intervention (Activation Patching): 원본 입력과 반사실적(counterfactual) 입력 쌍을 만든 후, 특정 레이어의 hidden activation을 서로 교체(swap)하여 모델의 출력이 위치(positional)를 따르는지 의미(symbolic)를 따르는지 인과적으로(causally) 검증하는 기법.
• Attention Knockout: 특정 소스 토큰과 타겟 토큰 사이의 attention 연결을 강제로 0(마스킹)으로 만든 후 성능 하락 폭을 측정하여, 해당 경로가 정보 전달에 필수적인지 확인하는 기법.
• Binding Signature: Linear probe로 각 레이어의 활성화 값을 디코딩했을 때, 개체(entity) 토큰 위치에서 속성(attribute) 정보의 디코딩 정확도가 급격히 상승하는 현상. 모델이 위치가 아닌 실제 의미 정보를 결합(symbolic binding)하고 있음을 나타내는 결정적 증거.

---

Purpose of the Paper

• 기이한 현상 발견과 원인 규명: 시각 정보를 처리하기 위해 학습된 VLM(Vision-Language Model)이 순수 텍스트 기반의 작업, 특히 긴 문맥의 정보 검색(long-context information retrieval)에서 기반이 된 텍스트 전용 base LLM보다 오히려 더 뛰어난 성능을 보이는 현상의 근본적인 원인을 규명하고자 함.
• 기존 연구의 한계 극복: 기존 연구들은 multimodal training이 단일 모달리티(text-only) 성능을 향상시키거나 저하시키는 현상을 경험적(empirically)으로 보고하거나 추상적인 수준에서만 논의했을 뿐, 모델 내부의 연산 메커니즘(internal computation)이 어떻게 변하는지 인과적으로 밝혀내지 못함.
• 새로운 접근 방식 제시: 텍스트와 이미지를 완벽히 동일한 구조로 치환할 수 있는 통제된 합성(synthetic) Indirect Retrieval 작업을 설계하고, Mechanistic Interpretability(기계적 해석 가능성) 도구들을 결합하여 시각 데이터 학습이 어떻게 텍스트 처리 회로의 단축키 학습(shortcut learning)을 교정하는지 최초로 규명함.

---

Key Contributions & Novelty

• VLM의 Text-Only 역전 현상 실증 및 통제된 재현
  • Contribution: Qwen 시리즈(2, 2.5, 3)에서 VLM이 base LLM보다 긴 문맥 텍스트 검색에서 일관되게 우수함을 보이고, 이를 소규모 12-layer decoder-only Transformer 환경에서 처음부터(from scratch) 학습하여 동일하게 재현함.
  • Novelty: 시각 데이터의 유무만을 유일한 변수로 통제할 수 있는 색상-모양-아이템 연결 구조의 합성 작업(Indirect Retrieval)을 고안하여 모달리티의 순수 효과를 분리해 냄.
• 시각 학습을 통한 Binding Strategy Shift 규명
  • Contribution: Text-only 학습은 모델이 토큰의 순서에 의존하는 취약한 Positional Binding(shortcut)을 학습하게 만드는 반면, Image-based 학습은 이를 파괴하고 의미 기반의 Symbolic Binding으로 내부 전략을 완전히 전환(shift)시킴을 증명함.
  • Novelty: 이미지가 가진 고유한 특성인 Translation Invariance(객체의 위치가 임의적임)가 위치 기반 단축키를 무력화시키고, 텍스트 모달리티로 다시 돌아온 후에도 이 강건한 Symbolic 전략이 그대로 유지된다는 cross-modal inductive bias 효과를 발견함.
• 문맥 길이 확장(Context-Length Expansion) 가설 반박
  • Contribution: 이미지 패치 토큰(예: 196개 토큰) 때문에 모델이 단순히 더 긴 시퀀스 위치 인덱스에 노출되어 일반화가 잘 된 것이라는 대안 가설을 Unattendable Noise Tokens 실험을 통해 반박함.
  • Novelty: 노이즈 토큰을 통해 물리적 위치 범위만 확장한 모델(57.5%)보다 시각 학습을 거친 모델(69.5%)이 훨씬 뛰어남을 보임으로써, 시각 모달리티가 단순한 길이 확장을 넘어 질적으로 다른 정규화(regularization) 효과를 제공함을 입증함.
• 구체적인 3가지 Binding Circuit 아키텍처 발굴
  • Contribution: Attention Knockout과 Linear Probing을 통해 모델 내부의 정보 흐름을 추적하여 1개의 Positional Circuit과 2개의 Symbolic Circuit(Color-Key, Shape-Key) 구조를 구체적으로 매핑함.
  • Novelty: 추상적인 행동 분석에 그치지 않고, 토큰 간에 위치 인덱스만 복사되는지(implicit binding) 아니면 실제 의미 정보가 결합되어 이동하는지(explicit binding)를 레이어 및 어텐션 헤드 수준에서 완벽히 해부함.

---

Experimental Highlights

• Datasets & Setup:
  • Pre-trained Models: Qwen2 (7B), Qwen2.5 (7B), Qwen3 (8B)의 Instruct 모델과 각각의 VL-Instruct 모델을 수정 없이 그대로 사용하여 Direct/Indirect Retrieval(이름-도시-음식 매칭, 최대 400개 관계) 평가.
  • Controlled Scratch Models: 12-layer Transformer (RoPE 적용). 최대 8개의 객체(색상-모양 쌍)까지만 학습(In-Distribution)시키고, 평가 시에는 최대 32개의 객체로 확장하여 OOD(Out-of-Distribution) 길이 일반화 성능을 측정. Image encoder로는 frozen ResNet-152, ViT-B/16, DINOv3를 사용.
• 주요 결과 1: Pre-trained VLM의 압도적인 Text-Only 검색 성능
  • Indirect Retrieval 작업에서 문맥 길이가 길어질수록 LLM 대비 VLM의 우위가 뚜렷해짐. 특히 Qwen3-VL-8B는 평균 63.5%를 기록하여 base 모델인 Qwen3-8B(48.2%)를 큰 폭으로 능가함 (특정 text-only 평가 설정에서는 76.0% 대 62.6% 기록).
• 주요 결과 2: 통제된 환경에서의 OOD Generalization 대폭 향상
  • 최대 8개 객체로 학습된 모델들의 OOD(9~32개 객체) 평균 정확도 비교:
    • Only Text 모델: 37.2% (8개를 넘어가면 성능이 급격히 붕괴됨).
    • Noise Text 모델: 57.5% (100개의 노이즈 토큰 삽입으로 위치 범위가 확장되어 성능이 오르나 한계가 명확함).
    • Image-Text 모델: 69.5% (시각 학습 후 텍스트로 전이 시 OOD 성능이 거의 2배 가까이 도약함).
    • Noise Image-Text 모델: 83.6% (시각 학습을 통한 메커니즘 전환과 노이즈를 통한 위치 범위 확장이 상호보완적으로 작용하여 최고 성능 달성).
• 주요 결과 3: Interchange Intervention 및 Probing을 통한 메커니즘 검증
  • Scratch Models: 마지막 레이어 기준, Only Text 모델은 거의 100% Positional 메커니즘에 의존하지만, Image-Text 모델은 인코더 종류(ResNet, ViT, DINOv3)와 무관하게 모두 Symbolic 메커니즘이 지배적으로 나타남.
  • Large-Scale Models 검증: Qwen 시리즈에서도 VLM 변환 시 주요 바인딩 레이어의 Symbolic-to-Positional 비율이 일관되게 상승함 (Qwen3: 1.819 → Qwen3-VL: 2.463, +0.644 증가). 또한 Linear Probe 결과, VLM에서만 개체 토큰 위치에서 속성 정보 디코딩 정확도가 치솟는 'Binding Signature'(Symbolic Circuit A 패턴)가 뚜렷하게 관찰됨.

---

Limitations and Future Work

• 시각적 렌더링의 한계로 인한 우회적 어휘 확장 (Vocabulary Expansion)
  • Limitation: 이미지 모달리티 학습 단계에서는 시각적으로 명확히 구분 가능한 도형의 개수가 제한적이어서 13개의 모양(shapes)과 8개의 색상만 사용할 수밖에 없었음. 이로 인해 32개 아이템에 대한 OOD 평가를 위해 다시 텍스트 전용 데이터로 어휘를 확장(216색상, 216모양)하는 추가 학습 단계를 거쳐야만 했음.
  • Importance & Future Work: 순수 시각 학습만으로도 대규모 어휘와 긴 문맥 일반화를 직접 달성할 수 있는지 확인하는 것이 중요하며, 향후 더 복잡하고 다양한 시각적 원시 객체(visual primitives)나 실제 이미지 데이터를 활용한 검증으로 확장될 수 있음.
• 초기화(Random Seed) 및 인코더에 따른 세부 회로 구조의 변동성
  • Limitation: 시각 학습이 모델을 Symbolic Binding으로 유도한다는 점은 보편적이었지만, 구체적으로 Color-Key(Circuit A)를 쓸지 Shape-Key(Circuit B)를 쓸지, 혹은 어느 레이어에서 바인딩이 활성화될지는 random seed와 visual encoder 종류에 따라 달랐으며, 심지어 12개 실험 중 1개(Seed 2 with ViT)는 수렴하지 않고 발산(divergent)함.
  • Importance & Future Work: 멀티모달 학습이 왜 특정 내부 회로 선택으로 이어지는지 아직 완전히 통제하지 못함을 의미함. 향후 어떤 초기화 조건이나 아키텍처적 특성이 특정 Symbolic Circuit 형성을 결정짓는지 규명하는 연구가 필요함.
• 핵심 유도 편향(Inductive Bias) 요소의 정밀한 분리 필요
  • Limitation: 본 논문은 시각 데이터의 'Translation Invariance'가 메커니즘 전환을 유도했다고 강하게 가설을 세우고 설명하지만, 시각 모달리티가 가진 다른 특성들과 이를 수학적/실험적으로 완전히 분리하여 증명하지는 못함.
  • Importance & Future Work: 저자들이 결론에서 명시했듯, 향후 연구(Future Work)의 가장 중요한 방향은 Translation Invariance를 포함하여 타 모달리티의 어떤 구체적인 속성(modality properties)이 이러한 유익한 표현형 전환(representational shift)을 가장 효과적으로 이끌어내는지 정확히 식별하고 정량화하는 것임. 이를 통해 실제 이미지 없이도 텍스트 모델의 단축키 학습을 방지하는 새로운 정규화 기법을 개발할 수 있음.

---

Overall Summary

본 논문은 시각-언어 모델(VLM)이 순수 텍스트 기반의 장문 검색 작업에서 기반이 된 텍스트 전용 LLM보다 더 뛰어난 성능을 보이는 역설적인 현상을 기계적 해석 가능성(mechanistic interpretability)을 통해 규명한 연구입니다. 텍스트만 학습한 모델은 토큰의 순서에 의존하는 취약한 위치 기반 단축키(Positional Binding)를 학습하여 문맥이 길어지면 실패하는 반면, 공간적 위치가 무의미한(Translation Invariance) 이미지 데이터를 학습한 모델은 의미 기반의 연결 방식(Symbolic Binding)으로 내부 회로를 재구성하여 텍스트로 돌아온 후에도 뛰어난 길이 일반화(OOD) 성능을 유지함을 밝혔습니다. 이 연구는 멀티모달 학습이 단순히 새로운 감각을 추가하는 것을 넘어, 단일 모달리티(텍스트)만으로는 빠지기 쉬운 단축키 학습을 교정하고 모델의 근본적인 추론 회로를 더욱 강건하게 만드는 강력한 귀납적 편향(inductive bias)으로 작용할 수 있음을 최초로 입증했다는 점에서 큰 의의를 가집니다.

---

쉬운 설명

이 논문의 핵심 아이디어는 **"순서대로 외우는 꼼수(벼락치기)를 막으려면, 순서가 뒤죽박죽인 그림 카드로 공부시켜서 진짜 개념을 이해하게 만들어야 한다"**는 것과 같습니다.

글자(텍스트)로만 공부한 AI는 '첫 번째 줄에 나온 단어와 저 뒤의 첫 번째 줄 단어를 짝짓자'처럼 줄 번호(위치)를 세는 꼼수를 배웁니다. 이 방법은 문제가 짧을 때는 백점을 맞지만, 시험 문제가 30줄로 길어지면 줄을 세다가 헷갈려서 다 틀려버립니다. 반면, 그림(이미지)으로 공부를 시키면 그림 속 도형들은 위아래나 좌우 어디에나 마구잡이로 그려져 있기 때문에 '몇 번째 줄'이라는 꼼수가 전혀 통하지 않습니다. 결국 AI는 꼼수를 포기하고 '빨간색 동그라미'라는 실제 의미와 모양 자체를 정확히 기억해서 연결하는 정석적인 공부법을 터득하게 됩니다. 놀랍게도 이렇게 그림을 통해 한 번 정석 공부법을 깨우친 AI는, 나중에 다시 글자로만 된 아주 긴 시험 문제를 풀 때도 예전의 줄 세기 꼼수로 돌아가지 않고 정석대로 문제를 풀어내어 훨씬 더 높은 점수를 받게 됩니다.

 

 

 

 

Binding (Variable Binding):
어떤 속성이 어떤 객체에 속하는지 대응 관계를 형성하고 유지하는 과정

- 빨간색 원, 초록색 삼각형
- 원 → A, 삼각형 → B
모델은 빨간색 → 원 → A라는 관계를 연결해야함 그게 바인딩

Context
- 1번: 빨간 원
- 2번: 초록 삼각형
- 3번: 파란 사각형
Association
- 삼각형 → B
- 사각형 → C
- 원 → A
Question: 빨간색에 해당하는 알파벳은? (정답 A)


1. Positional Binding (위치 기반 결합)
의미 정보 대신 토큰의 위치 정보를 연결 고리로 사용하는 방식입니다.
1. 질문의 '빨간색'이 Context의 빨간색을 찾아 1번 위치를 기억합니다.
2. Association의 '원'은 Context의 원을 찾아 1번 위치를 기억하고, 이를 A에 전달합니다.
3. 최종적으로 질문과 A가 가진 위치 정보가 일치하므로 A를 출력합니다.


2. Symbolic Binding (의미 기반 결합)
토큰의 실제 속성이나 객체 정보를 전달하여 연결하는 방식입니다.
1. Context의 '원' 토큰이 '빨간색' 정보를 받아 빨간 원이라는 결합을 형성합니다.
2. Association의 '원'이 Context의 원에서 빨간색 정보를 가져옵니다.
3. A에도 빨간색 정보가 전달됩니다.
4. 질문의 빨간색과 A가 가진 빨간색 정보가 일치하므로 A를 출력합니다.
즉, 위치가 아니라 색상이라는 의미 정보가 실제로 토큰 사이를 이동합니다.


Positional: 빨간색과 A가 같은 Context 위치를 가리킨다는 사실을 이용

Symbolic: 빨간색이라는 정보를 A까지 전달하여 직접 연결



Reflexive Binding (자기참조 결합)
예시
Context: 철수는 사과를 좋아한다.

Question: 사과를 좋아하는 사람은? (정답: 철수)
1. '철수' 토큰이 철수 자신을 가리키는 포인터를 가집니다.
2. 뒤에 등장하는 '사과' 토큰으로 그 포인터가 전달됩니다.
3. 질문에서 '사과'를 찾으면, 저장된 포인터를 따라 '철수'를 찾아냅니다


Context (상황 정보)
- 빨간색 → 원
- 초록색 → 삼각형
Association (대응 관계)
- 원 → A
- 삼각형 → B
Question: 빨간색에 해당하는 알파벳은?
1. 1-hop: 빨간색 → 원 (색상과 도형 연결)
2. 2-hop: 원 → A (도형과 알파벳 연결)


예시: 빨간 원
1. 초기 Layer: '원' 토큰에는 주로 도형 정보가 존재합니다.
2. 중간 Layer: '원' 토큰의 Hidden State에서 '빨간색' 정보를 Linear Probe로 판별할 수 있게 됩니다.
3. 후속 Layer: Association의 '원' 토큰과 'A' 토큰으로도 빨간색 정보가 전달됩니다.
즉, 원 토큰에서 색상 정보의 Decodability가 급격히 증가하는 현상이 핵심 Binding Signature입니다.
Binding 방식별 차이
- Positional Binding: 위치 정보의 Decodability는 높지만, 객체 토큰에서 속성 정보는 거의 검출되지 않습니다.
- Symbolic Binding: 객체 토큰에서 속성 정보의 Decodability가 급증합니다.
논문은 이 패턴을 Linear Probing으로 관찰하고, Attention Knockout으로 정보 전달 경로의 기능적 중요성도 검증했습니다.



tep 1. VLM이 LLM보다 텍스트 검색을 잘하는 현상 발견
연구진은 Qwen 계열의 LLM과 VLM에 이미지 없이 텍스트만 제공하고 두 가지 문제를 풀게 했습니다.
① Direct Retrieval (직접 검색)
Context (주어진 정보)
- James lives in Tokyo.
- Mary lives in Paris.
- John lives in Mumbai.
Question: John은 어느 도시에 살고 있는가?

Answer: Mumbai

John → Mumbai라는 관계를 한 번 검색하면 풀 수 있는 1-hop 문제입니다.
② Indirect Retrieval (간접 검색)
Context (주어진 정보)
- Banana is liked by Mary.
- Orange is liked by John.
- Mary lives in Paris.
- John lives in Mumbai.
Question: Orange를 좋아하는 사람은 어느 도시에 살고 있는가?

Answer: Mumbai

두 관계를 연결해야 합니다.
1. Orange → John
2. John → Mumbai
즉, 2-hop Retrieval 문제입니다.

vlm이 더 잘한다고함.  왜그럴까 스몰 모델을 학습시킴.

학습 범위내 는 잘하는데 개ㅔㅅ수를 ood로 하면 못한다고함 


400개씩 우겨넣어서 찾아보라고 함. 
우리 처럼 좀 쉬운 세팅은 아님.




기존 Text-only 학습
- Context: 빨간 원, 초록 삼각형
- Association: 원 → A, 삼각형 → B
- Question: 빨간색에 해당하는 알파벳은?
- Answer: A
Image 학습
- Context: 빨간 원 이미지, 초록 삼각형 이미지
- Association: 원 → A, 삼각형 → B
- Question: 빨간색에 해당하는 알파벳은?
- Answer: A



① Text-only 모델: Positional Binding
- 질문의 빨간색이 Context의 위치 1을 찾음
- Association의 원도 Context의 위치 1을 찾음
- 두 위치가 같으므로 A를 출력
즉, 색상과 도형을 직접 결합하지 않고 위치를 통해 연결합니다.
② Image-trained 모델: Symbolic Binding
- Context의 원 토큰에 빨간색 정보가 전달됨
- Association의 원 토큰에도 빨간색 정보가 전달됨
- 해당 정보가 A 토큰까지 전달됨
- 질문의 빨간색과 A의 색상 정보가 일치하므로 A 출력
즉, 토큰 사이에 실제 의미 정보가 전달됩니다.

연구진은 Linear Probing으로 원 토큰에서 빨간색 정보를 복원할 수 있는지 확인했고, Attention Knockout으로 정보 전달 경로가 정답에 중요한지도 검증



단순히 정답률이 오른 게 아니라 내부에서 문제를 푸는 방식 자체가 달라졌다는 증거를 발견

이미지 모델이 바인딩을 바꿧기땜에 잘안다고 주장 

1. 실험 방법
1. 원본 문제와 일부 관계를 변경한 Counterfactual 문제를 만듭니다.
2. 두 문제를 모델에 각각 입력해 Hidden State를 추출합니다.
3. 특정 Layer의 Hidden State를 원본에서 Counterfactual의 것으로 교체합니다.
4. 교체 후 모델의 출력이 어느 Binding 방식의 예측과 일치하는지 측정합니다.
핵심은 두 Binding 방식이 서로 다른 답을 예측하도록 문제를 설계하는 것입니다.


현상 관찰과 회로 분석은 흥미롭지만, 이미지 학습의 특별한 효과를 입증하는 실험 설계는 다소 약하다는 것

 

2.5점 / 5점