MI : 빠른 논문 리뷰 : Toy Models of Superposition

용어 설명

• Superposition (중첩): 모델이 가진 차원(또는 뉴런)의 수 m보다 더 많은 수의 독립적인 feature n (n > m)을 거의 직교(almost-orthogonal)하는 방향으로 활성화 공간에 압축하여 표현하는 현상.
• Polysemanticity (다의성 / Polysemantic Neurons): 하나의 뉴런이 단일 개념이 아니라 서로 무관한 여러 개의 서로 다른 feature들에 반응하여 활성화되는 현상.
• Monosemanticity (단일의성 / Monosemantic Neurons): 하나의 뉴런이 특정 단일 feature(예: '곡선 감지', '강아지 코')에만 선택적으로 반응하는 현상.
• Privileged Basis (특권 기저): 활성화 공간에서 특정 기저 축(basis direction, 즉 개별 뉴런)이 회전 불변성을 잃고 수학적·구조적으로 특별한 의미를 갖는 상태. Activation function(예: ReLU)이 개별 뉴런 단위로 적용될 때 발생함.
• Feature Dimensionality (Di): 특정 feature i가 모델의 표현 공간에서 실질적으로 차지하는 차원의 비율을 수량화한 지표. (공식: feature i의 가중치 노름 제곱을 다른 모든 feature들과의 내적 제곱합으로 나눈 값). 직교하여 단독으로 차원을 차지하면 1, antipodal 쌍을 이루면 1/2, 학습되지 않으면 0을 가짐.
• Antipodal Pair (대척점 쌍): 1차원 공간(선분)의 양 끝단처럼 서로 정확히 반대 방향(W1 = -W2)을 가리키는 벡터 쌍. ReLU activation을 거치면 음의 간섭(negative interference)이 0으로 필터링되므로 간섭 비용 없이 1개 차원에 2개 feature를 담을 수 있음.
• Thomson Problem (톰슨 문제): 구(sphere) 표면 위에 정전기적 척력을 가진 입자들을 배치할 때 전체 에너지가 최소화되는 기하학적 배치를 찾는 물리/화학 문제. Superposition 시 feature 벡터들이 단위 구면 위에서 상호 간섭을 최소화하며 배치되는 수학적 구조와 일치함.
• Tegum Product (테검 곱): 서로 직교하는 부분 공간(orthogonal subspaces)에 각각의 다포체(polytope)를 배치하여 고차원 다포체를 형성하는 기하학적 연산. 상호 간섭이 전혀 없어야 하는 feature 그룹들이 직교 부분 공간으로 나뉘는 배치를 설명함.
• Asymmetric Superposition Motif (비대칭 중첩 모티프): 계산을 superposition 상태에서 수행할 때 한 feature가 다른 feature에 미치는 간섭을 비대칭적인 가중치 배분과 억제 뉴런(inhibition neuron)을 통해 상쇄하는 2뉴런 회로 패턴.

---

Purpose of the Paper

• 기존 연구의 한계 극복: 대규모 언어 모델(LLM)이나 비전 모델에서 뉴런이 여러 무관한 개념에 반응하는 polysemanticity가 만연하여 mechanistic interpretability(기계론적 해석 가능성) 연구에 큰 병목이 되었음. 기존 연구들은 이를 단순한 학습 노이즈나 최적화의 불완전성으로 보거나, superposition 가설을 정성적으로만 추측했을 뿐 통제된 환경에서 명확히 입증하지 못했음.
• 새로운 접근 방식 제시: 인위적으로 feature의 sparsity(희소성)와 importance(중요도)를 조절할 수 있는 수학적으로 다루기 쉬운 toy model(선형 및 ReLU autoencoder 구조)을 설계함.
• 연구 목적: 모델이 왜 뉴런 수보다 더 많은 feature를 저장하는지(why), 어떤 조건에서 단일의성 뉴런과 다의성 뉴런이 갈라지는지(when), 그리고 superposition 상태에서 단순 저장을 넘어 비선형 연산(computation)까지 가능한지를 기하학적·수학적으로 명확히 규명하고자 함.

---

Key Contributions & Novelty

• Superposition 현상의 최초 수학적/실험적 엄밀 입증:
  • 선형 모델(Linear model)은 항상 PCA와 동일하게 가장 중요한 상위 m개 feature만 직교 기저로 표현하고 나머지를 버리지만, 출력단에 비선형 필터(ReLU) 하나만 추가해도 차원 수보다 많은 feature를 저장하는 superposition이 발생함을 증명.
  • 참신성: 단순 직관에 머물던 feature superposition 가설을 닫힌 형태의 toy model 및 합성 데이터를 통해 재현 가능하고 명확한 현상으로 확립.
• Superposition의 1차 상전이(First-Order Phase Change) 규명:
  • Feature가 미학습(0), superposition 상태(분수 차원), 독립 차원 전담(1)으로 전환되는 경계가 연속적인 변화가 아니라 불연속적인 phase change를 따름을 위상 다이어그램(phase diagram)을 통해 최초 규명.
• Uniform Polytopes와 Thomson Problem 간의 기하학적 연결 발견:
  • 균일한 sparsity와 중요도를 가질 때, feature 벡터들이 임의로 퍼지는 것이 아니라 정다각형(삼각형, 오각형), 정사면체(tetrahedron), 사각 엇쌍각뿔(square antiprism) 등 uniform polytope 기하 구조를 형성함을 밝혀냄.
  • 복잡한 고차원 구성이 직교하는 저차원 부분 공간들의 tegum product로 분해됨을 증명.
• Feature 상관관계(Correlation)에 따른 조직화 원리 발견:
  • 양의 상관관계(co-occurring)를 갖는 feature들은 간섭을 피하기 위해 직교 기저(local orthogonal basis)를 형성하려 하며, 용량이 부족하면 주성분(PCA-like component)으로 붕괴(collapse)됨.
  • 음의 상관관계(anti-correlated)를 갖는 feature들은 동시에 발생하지 않으므로 antipodal pair와 같은 강한 음의 간섭 상태로 묶임.
• Superposition 상태에서의 계산(Computation) 가능성 입증:
  • 절대값 함수(y = abs(x)) 연산 모델을 통해, 단순히 데이터를 저장하는 것을 넘어 은닉 계층 전체가 superposition 상태인 채로 비선형 연산을 온전히 수행할 수 있음을 규명.
  • 이를 구현하는 구체적인 가중치 구조인 asymmetric superposition with inhibition 모티프를 도출.
• Adversarial Robustness와의 직접적 연결 고리 확인:
  • Superposition으로 인해 발생하는 비직교 간섭 항(오프셋)이 적대적 공격자가 최소한의 섭동으로 중요 feature를 교란할 수 있는 구조적 취약점이 됨을 보임.

---

Experimental Highlights

• 기본 압축 실험 (n = 20, m = 5, 중요도 Ii = 0.7의 i승):
  • Dense 환경(1 - S = 1.0)에서는 ReLU 모델도 선형 모델과 동일하게 상위 5개 feature만 직교로 학습하고 나머지 15개는 버림 (W^T W 행렬이 5x5 단위행렬 형태).
  • Sparsity 증가(1 - S 가 0.1 이하)에 따라 덜 중요한 feature부터 antipodal pair(대칭 음수 방향)로 차원을 공유하기 시작하며, 초고희소 환경(1 - S = 0.001)에서는 5개 차원에 20개 feature 전체가 양/음의 간섭을 수반하며 패킹됨.
• 차원당 Feature 수 및 'Sticky Points' 관측 (n = 400, m = 30, 균일 중요도):
  • Sparsity를 로그 스케일로 스윕하며 feature당 차원 비율(m / ||W||_F^2)을 측정했을 때, 분수 형태의 특정 지점에서 곡선이 정체되는 'sticky point' 현상 관측 (양자 홀 효과와 유사).
  • Feature Dimensionality (Di) 분포가 무작위 값이 아닌 정확히 정해진 기하학적 분수 값으로 클러스터링됨:
    • D = 3/4 : 정사면체 (Tetrahedron, 3차원에 4개)
    • D = 2/3 : 정삼각형 (Triangle, 2차원에 3개)
    • D = 1/2 : Antipodal Pair (1차원에 2개)
    • D = 2/5 : 정오각형 (Pentagon, 2차원에 5개)
    • D = 3/8 : 사각 엇쌍각뿔 (Square Antiprism, 3차원에 8개)
• 상전이 위상 다이어그램 검증 (n = 2, m = 1 및 n = 3, m = 2):
  • Sparsity 축과 상대 중요도 축 평면에서 경험적 손실 최소화 모델과 해석적 닫힌 해(closed-form loss)를 비교. 두 결과가 일치하며 경계면에서 손실 함수의 도함수 불연속성(1차 상전이 crossover) 확인.
• 상관 특성 분해 및 붕괴 (n = 6, m = 2, 3쌍의 상관 feature):
  • 고희소 영역에서는 6개 feature가 정육각형으로 배열되어 상관 쌍끼리 인접 배치됨.
  • 저희소(밀집) 영역으로 갈수록 상관 쌍 사이의 각도가 좁혀지다가, 임계점을 넘으면 두 feature가 단일 주성분 벡터 하나로 합쳐지는 PCA 붕괴 현상이 관찰됨.
• Adversarial 취약성 정량화:
  • Superposition이 전혀 없는 모델 대비, 모델이 antipodal 이상의 고차 superposition 상태로 진입할 때 L2 적대적 공격 취약성이 3배 이상 급증함.
  • 취약성의 증가 곡선은 feature per dimension 수치(차원당 feature 수)의 증가와 정확히 비례하여 평행 궤적을 그림.

---

Limitations and Future Work

• Toy Model 환경과 실제 대규모 모델 간의 격차 (Limitations):
  • 본 연구의 핵심 결과는 얕은 단일 계층 ReLU autoencoder 및 단순 합성 데이터셋에 기반함. 다층(multi-layer) 트랜스포머의 residual stream, MLP 블록, attention head가 얽힌 실제 복잡한 아키텍처에서 정다면체 구조나 깔끔한 분수 차원이 그대로 보존되는지는 불확실함.
  • Identity를 모방하는 ReLU 은닉층 모델의 경우, 모델이 바이어스를 양수로 밀어 ReLU를 우회(선형화)하려는 경향이 있어 강제적인 제약이 필요했음.
• Superposition 해결을 위한 3가지 경로 및 난제 제시 (Future Work):
  1. Superposition 없는 모델 학습: 은닉 활성화에 L1 regularization을 걸어 제거할 수 있으나 표현력 손실이 큼. 대안으로 Mixture of Experts (MoE)처럼 연산량(FLOP) 대비 파라미터를 극대화하여 뉴런 수준에서 희소성을 직접 수용하는 아키텍처 연구 필요.
  2. 학습 후 Overcomplete Basis 탐색 (사후 분해): 이미 학습된 superposition 모델의 활성화 공간에 Sparse Coding / Sparse Autoencoder(SAE)를 적용하여 가상 뉴런(virtual neurons)을 찾아내는 방식. (수백만 뉴런 x 수십억 토큰 스케일의 대규모 희소 분해 엔지니어링 문제 해결 필요).
  3. 하이브리드 접근법: 완벽한 비중첩 모델을 만드는 대신, 사후 분해가 용이하도록 아키텍처적 유도 편향(inductive bias)을 주입하는 방법 연구.

---

Overall Summary

이 논문은 인공 신경망에서 개별 뉴런이 여러 무관한 개념에 반응하는 '다의성(polysemanticity)'의 근본 원인이, 모델이 차원 한계를 넘어 더 많은 희소 feature를 압축해 담는 '슈퍼포지션(superposition)' 전략 때문임을 수학적 토이 모델을 통해 최초로 명확히 입증했습니다. 연구진은 feature의 sparsity와 importance에 따라 superposition이 불연속적인 1차 상전이를 겪으며, feature 벡터들이 톰슨 문제의 해와 일치하는 정다포체(uniform polytopes) 기하 구조로 자기조직화되고 비선형 연산까지 수행함을 밝혔습니다. 이 연구는 딥러닝 해석 가능성 연구에서 뉴런 단위 분석의 한계를 설명하고, 향후 대규모 신경망의 내부 표상을 '사후 희소 사전 학습(Sparse Autoencoder)' 등으로 풀어내기 위한 핵심적인 이론적 토대와 안전성 연구의 방향성을 제시했다는 점에서 중대한 의의를 가집니다.

---

쉬운 설명

• 기숙사 방 배정 비유:
  • 1인용 기숙사 방이 5개(m = 5)밖에 없는데 살아야 할 학생은 20명(n = 20)입니다.
  • 만약 모든 학생이 매일 기숙사에 들어온다면(Dense feature), 사감은 가장 중요한 장학생 5명에게만 방을 주고 나머지 15명은 쫓아내야 합니다 (Linear PCA 모델).
  • 하지만 학생들이 한 달에 며칠만 불규칙하게 들어오는 교대근무자라면(Sparse feature), 일정이 겹치지 않는 학생 2~4명을 한 방에 묶어서 배정할 수 있습니다 (Superposition).
  • 방에서 가끔 마주치는 문제(간섭/노이즈)는 문에 설치한 도어락 필터(ReLU)로 걸러내어 해결합니다.
  • 하지만 방을 너무 빡빡하게 공유하면, 누군가 고의로 아무 때나 벨을 눌러 방 전체를 엉망으로 만들기 쉬워집니다 (Adversarial attack에 취약해지는 이유).

 

Superposition
hidden dimension(neuron 수)보다 더 많은 feature를, 같은 activation space 안에 겹쳐서 표현하는 방식


Polysemanticity
뉴런 하나가 서로 다른 여러 feature를 함께 표현하는 현상


Monosemanticity
하나의 뉴런이 특정 단일 feature(예: '곡선 감지', '강아지 코')에만 선택적으로 반응하는 현상.


Privileged Basis
모델 구조 때문에 activation space의 특정 좌표축(neuron directions)이 다른 방향보다 특별한 의미를 갖는 경우


Feature Dimensionality
feature \(i\)가 activation space에서 실질적으로 차지하는 dimension의 양

Antipodal Pair
feature 두 개를 같은 축의 \(+\)방향과 \(-\)방향에 배치해서 dimension 하나를 공유하는 가장 단순한 superposition 구조.


Thomson Problem
Thomson Problem을 목표로 준 게 아니라, 학습 결과가 그 문제의 해와 비슷한 기하학을 보였다는 것.

Tegum Product 
feature들을 몇 개의 서로 직교하는 그룹으로 나눠서, 그룹 사이 interference가 없도록 만든 기하 구조.


Asymmetric Superposition Motif
두 feature를 같은 neuron에 겹쳐 넣되, 똑같은 세기로 공유하지 않고 한쪽 feature를 훨씬 강하게, 다른 쪽은 약하게 넣는 superposition 패턴입니다.


Asymmetric Superposition Motif (비대칭 중첩 모티프
한 뉴런은 여러 입력에 각각 다른 weight를 곱해서 합한 뒤 scalar 하나를 출력한다.
Asymmetric Superposition은 그 weight들이 두 feature에 대해 비대칭적인 크기를 갖는 패턴을 말하는거


왜 어떤 경우에는 feature ↔ neuron이 깔끔하게 맞는데, 어떤 경우에는 여러 feature가 neuron들에 뒤섞여 표현될까?

모델이 neuron/dimension 수보다 더 많은 feature를 표현하려고 Superposition을 사용하기 때문일 수 있다.



\[
\boxed{\text{sparse feature + nonlinearity}
\Rightarrow
\text{superposition이 실제로 학습된다}}
\]


왜 sparsity가 커지면 Superposition이 유리해지는가
Superposition은 “더 많이 담기 vs 간섭”의 trade-off이고, sparsity가 높아질수록 간섭 비용이 싸진다.


서서히 조금씩 바뀌는 게 아니라, sparsity나 importance가 어느 임계점을 넘으면 갑자기 다른 상태로 점프

feature를 어떻게 표현할지는 연속적으로 조금씩 바뀌는 게 아니라, 조건에 따라 버림 ↔ superposition ↔ 전용 dimension 사이를 갑자기 전환할 수 있다.


Superposition이 생기면 feature들이 아무렇게나 겹치는가?

Superposition 안에서도 feature들은 랜덤하게 뒤엉키는 게 아니라, 이 toy model에서는 interference를 줄이는 특정한 기하 구조를 만든다.

real-world superposition은 uniform하지 않을 테니, 실제로는 이런 찌그러진 geometry가 더 현실적일 것


학습이 겉으로는 smooth해 보여도 내부 representation은 특정 기하 구조에서 다른 구조로 불연속적으로 재편될 수 있다.


지금까지는 neuron 축 자체가 특별하지 않은 모델에서 superposition을 봤는데, 실제 MLP neuron처럼 Privileged Basis가 있는 경우에는 superposition이 어떻게 보이는가?


1. Privileged Basis에서의 Superposition
   지금까지는 좌표축 자체가 특별하지 않은 모델이었는데, hidden layer에 ReLU를 넣어서 실제 neuron 축이 구조적으로 특별한 모델을 만듭니다. 그러자 어떤 neuron은 feature 하나에 깔끔히 대응하는 monosemantic, 어떤 neuron은 여러 feature와 엮이는 polysemantic으로 나타납니다. 그리고 sparsity가 커질수록 polysemantic neuron이 늘어납니다.     2209.10652v1
   → 핵심: superposition이 실제 neuron-level polysemanticity로 어떻게 보이는지 확인.
2. Computation in Superposition
   앞에서는 사실상 feature를 저장했다가 복원하는 문제였습니다. 저자들은 “겹쳐 저장된 feature 위에서 실제 계산도 할 수 있나?”를 봅니다. 그래서 \(y=|x|\) 같은 간단한 nonlinear computation을 시킵니다. 결과적으로 superposition 상태에서도 계산이 가능했습니다.     2209.10652v1
   → 핵심: superposition은 단순 압축 저장법이 아니라, 그 상태 그대로 computation도 가능할 수 있다.
3. Asymmetric Superposition Motif
   방금 보던 부분입니다. 실제 계산을 superposition 상태에서 하다 보니 단순 대칭 배치만이 아니라, 비대칭 weight + inhibition 같은 작은 circuit pattern도 나타납니다.
   → 이건 세부 메커니즘 예시라서 논문 전체 이해에는 깊게 안 봐도 됩니다.
4. Strategic Picture — 그래서 interpretability에 왜 문제인가?
   Superposition이 있으면 neuron 하나씩 보면서 feature를 열거할 수 없습니다. 따라서 activation decomposition, circuit analysis, 심지어 cosine similarity 같은 단순 분석도 헷갈릴 수 있습니다.     2209.10652v1
   저자들은 해결 방향을 3개로 봅니다:
   (1) 아예 superposition 없는 모델 만들기
   (2) 이미 생긴 superposition에서 feature direction들을 찾아내기(overcomplete basis / sparse coding)
   (3) 둘을 섞기.     2209.10652v1
5. Superposition 없애면 되잖아?
   Toy model에서는 L1 regularization 같은 걸로 없앨 수 있습니다. 그런데 그러면 더 적은 feature만 표현하게 되어 성능 손해가 생길 수 있습니다. 저자들은 superposition이 모델의 실질적인 capacity를 늘려주는 효과가 있을 수 있다고 봅니다.     2209.10652v1
   그래서 MoE처럼 실제로 필요한 neuron만 계산하는 구조라면 superposition 필요성을 줄일 가능성도 논의합니다.     2209.10652v1
6. Real model에도 진짜 있나?
   이 논문이 확실히 증명한 건 toy model에서 superposition이 실제로 생긴다는 것까지입니다. 실제 large model에 얼마나 그대로 적용되는지는 아직 모릅니다. 다만 실제 모델에서 관찰되는
   polysemantic neuron, 한 layer 안의 mono/polysemantic 혼재, 깊은 layer에서 polysemanticity 증가 같은 현상과 toy model 예측이 잘 맞는다고 봅니다.