LLM : 빠른 논문 리뷰 : Attention is not Explanation

Model PM 6:18

[Study Note] Attention is not Explanation

---

1. 용어 설명 (Terminology)

• Faithful Explanation: model이 특정 prediction을 내린 실제 내부적인 이유(why)를 왜곡 없이 정확하게 반영하는 설명.
• Leave-One-Out (LOO / Feature Erasure): input에서 특정 token 하나를 제거(x_-t)했을 때 발생하는 model output의 변화량(TVD)을 측정하여 해당 feature의 중요도를 평가하는 방식.
• Counterfactual Attention Weights: 원래 model이 생성한 attention distribution(alpha)을 대체하기 위해 인위적으로 구성한 가상의 attention 가중치 분포.
• Adversarial Attention: 기존 attention 분포와는 최대한 다르게(maximally distinct) 구성되었음에도 불구하고, model의 final output은 기존과 실질적으로 동일하게(epsilon 이내로) 유지시키는 적대적 attention 분포.
• Total Variation Distance (TVD): 두 확률 분포(예: 원래의 prediction과 변경된 attention 하의 prediction) 간의 차이를 측정하는 지표. 수식: TVD(y1, y2) = 0.5 * sum(|y1_i - y2_i|).
• Jensen-Shannon Divergence (JSD): 두 attention distribution 간의 비유사성(dissimilarity)을 정량화하는 대칭적 거리 지표. 길이와 무관하게 최대 0.69로 상한(upper-bound)이 정해져 있음.
• ** Kendall tau (켄달의 타우)**: 두 변수(예: attention weights와 gradient 기반 feature importance)의 순위(rank) 간 상관관계를 측정하는 비모수적 통계 지표.
• Just-so stories: attention heatmap에서 높은 가중치를 받은 input token들을 보고, 사후에 그럴듯하게 끼워 맞춘 주관적인 해석이나 이야기.

---

2. Purpose of the Paper

• 기존 연구의 한계: NLP 분야에서 attention mechanism은 단순히 predictive performance를 높이는 것을 넘어, 어떤 input token이 final output에 중요한 영향을 미쳤는지 보여주는 model transparency 및 interpretability의 도구로 당연시되어 왔음.
• 왜 이 연구를 했는가: "높은 attention weight를 받은 input이 model output에 실제로 책임이 있다"는 암묵적 가정이 단 한 번도 공식적이고 실증적으로 검증(formally evaluated)된 적이 없기 때문임.
• 새로운 접근 방식: Attention이 진정한 의미의 faithful explanation을 제공한다면 반드시 만족해야 할 두 가지 핵심 조건을 정의하고 이를 역추적하여 검증함.
  1. Attention weights는 gradient나 LOO 같은 기존의 검증된 feature importance measures와 강한 상관관계를 가져야 한다.
  2. 만약 attention weights를 다르게(counterfactual) 주면, model의 prediction도 그에 상응하게 변해야 한다.

---

3. Key Contributions & Novelty

• Contribution 1: Attention과 Feature Importance 간의 낮은 상관관계 규명
  • BiLSTM과 같은 recurrent encoder에서 도출된 attention weights가 gradient 기반 중요도(tau_g) 및 LOO 기반 중요도(tau_loo)와 일관되게 상관관계가 없거나 매우 약함을 실험적으로 증명함.
  • Novelty: Attention module에서 역전파(backpropagation) 시 computation graph를 끊어(disconnect), attention 분포를 고정한 채 순수하게 input 변화에 따른 output 변화량만을 계산하는 엄밀한 알고리즘(Algorithm 1)을 설계함.
• Contribution 2: Counterfactual Attention 실험 프레임워크 제안 (Permutation & Adversarial)
  • Attention weights를 무작위로 섞거나(Permutation), 기존 분포와 거리를 최대화하는 Adversarial Attention을 탐색하더라도 model prediction이 거의 변하지 않음을 보임.
  • Novelty: JSD를 최대화하면서 TVD 변화량을 특정 임계값(epsilon) 이내로 제한하는 새로운 최적화 문제(Optimization Problem, Eq 1 & 2)를 정의하여, 동일한 output을 내는 완전히 다른(maximally different) attention heatmap이 다수 존재함을 수학적/실증적으로 입증함.
• Contribution 3: Encoder Architecture에 따른 Attention의 특성 비교
  • BiLSTM(recurrent), CNN, Average(feed-forward projection) encoder를 비교 분석하여, 유독 BiLSTM에서 설명력이 크게 떨어지는 원인이 hidden state가 문맥 내 모든 단어의 정보를 뒤섞기(entangle) 때문임을 밝혀냄. 반면 단순한 Average encoder는 feature importance와 높은 상관관계를 보임.

---

4. Experimental Highlights

• Experimental Settings:
  • Tasks & Datasets: Binary Text Classification (SST, IMDB, ADR Tweets, 20 Newsgroups, AG News, MIMIC Diabetes/Anemia), Question Answering (CNN, bAbI Task 1/2/3), Natural Language Inference (SNLI).
  • Models & Variants: BiLSTM (주력 분석 모델), CNN, Average (unordered feed-forward) encoders + Additive (Tanh) 및 Scaled Dot-Product Attention.
  • Metrics: Kendall tau (상관관계), TVD (output 변화량), JSD (attention 분포 간 거리), epsilon-max JSD.
• 주요 실험 결과 1 (Correlation Analysis):
  • BiLSTM 모델에서 attention과 gradient(tau_g) 및 LOO(tau_loo) 간의 평균 Kendall tau 값은 대부분 0.5 이하의 낮고 일관성 없는 수치를 기록함 (예: 20News에서 tau_g는 Class 0 기준 0.08, CNN-QA에서 0.20, bAbI 2에서 0.17).
  • 반면, LOO와 Gradient 자체는 서로 높은 상관관계를 보임 (Attention과의 상관관계보다 평균적으로 tau_loo 기준 0.2 이상, tau_g 기준 약 0.25 더 높음).
  • 단순한 Average encoder를 사용할 경우, BiLSTM 대비 attention과 LOO 간의 평균 상관관계가 약 0.375 포인트 상승하며, tau_g 또한 0.65~0.84 수준으로 높게 나타남.
• 주요 실험 결과 2 (Attention Permutation):
  • 영화 리뷰(Figure 1)에서 원래 부정 예측(0.01)을 유도한 attention entries를 무작위로 100번 섞어도(permuting), 원래 예측값과의 중앙값 차이(median output difference)가 0.006에 불과함.
  • 원래 max attention weight가 0.75~1.00으로 매우 높게(peaky) 형성된 인스턴스들조차도, 가중치를 무작위로 섞었을 때 output 변화량(Delta y_med)이 0에 가까운 경우가 다수 존재함.
• 주요 실험 결과 3 (Adversarial Attention):
  • Text classification에서는 epsilon=0.01, QA에서는 epsilon=0.05로 설정하여 예측값 변화를 극도로 제한했음에도 불구하고, 대다수 데이터셋에서 JSD가 이론적 상한선인 0.69에 육박하는 adversarial attention을 쉽게 찾을 수 있었음.
  • 예외적 발견 (Exception to the rule): MIMIC Diabetes 데이터셋의 positive class의 경우, 소수의 high-precision indicator tokens가 존재하여 attention을 교란할 경우 예측값이 크게 변하고 adversarial attention을 찾기 어려운 직관적인 행동을 보였으나, 이는 극히 예외적인 현상임.

---

5. Limitations and Future Work

• Metric의 노이즈 민감성 (Noise in Kendall tau):
  • 한계점: 문장 내 중요하지 않은 수많은 irrelevant features가 Kendall tau 전체 순위 상관관계 계산에 노이즈로 작용해 수치를 인위적으로 낮췄을 가능성.
  • 의미 및 극복 방안: 저자들은 LOO와 Gradient 간의 상관관계나 Average encoder에서의 상관관계는 높게 나온다는 점으로 이를 일부 방어했지만, 향후 top-k개의 핵심 feature들만을 대상으로 비동일 집합 간의 상관관계를 정확히 측정하는 새로운 방법론 연구가 필요함.
• 대안 지표(Gradients/LOO)의 완벽성 부재:
  • 한계점: 비교 기준으로 삼은 gradient 및 LOO 기반 feature importance 역시 비선형 neural network의 특성상 인간이 해석하기 어렵거나 완벽한 ground truth라고 볼 수 없음.
  • 의미: 그럼에도 intrinsic semantics를 가진 여러 지표들과 일관되게 상관관계가 낮다는 것은 attention의 신뢰성에 충분한 경종을 울림.
• Adversarial Attention의 현실성 및 다중 설명 가능성:
  • 한계점: 최적화로 찾아낸 adversarial weights는 실제 학습된 attention module의 파라미터 하에서는 생성될 확률이 낮은(unlikely) 분포일 수 있음. 또한 하나의 예측에 대해 여러 개의 타당한 설명(sufficient, but not exhaustive rationales)이 존재할 수도 있음.
  • Future Work: 단순히 하나의 그럴듯한 설명을 넘어, 모델이 가능한 모든 타당한 설명을 하이라이트하도록 강제하거나, 확률적 의미론(probabilistic semantics)이 명확한 Structured Attention, 혹은 일부 subset만을 강제로 선택하게 만드는 Hard/Sparse Attention 모델을 발전시켜야 함.
• 탐색 범위의 제한 (Architecture & Tasks):
  • 한계점: 기본적인 attention variant에 집중하여 BiAttentive architecture나 translation 같은 unstructured output space를 벗어난 seq2seq task는 다루지 않음. 향후 이러한 복잡한 구조와 태스크로의 확장 검증이 필요함.

---

6. Overall Summary

이 논문은 NLP 모델에서 널리 쓰이는 attention mechanism이 model prediction에 대한 유의미하고 충실한 설명(faithful explanation)을 제공한다는 기존의 통념을 실증적으로 반박한 연구입니다. 저자들은 BiLSTM 기반 모델에서 attention weights가 gradient나 LOO 같은 전통적인 feature importance 지표들과 상관관계가 매우 낮으며, 심지어 완전히 다른 단어에 집중하는 adversarial attention을 주입해도 동일한 예측 결과가 나온다는 것을 증명했습니다. 이 연구는 attention heatmap만을 근거로 모델의 작동 원리를 단정 짓고 인과적인 스토리를 만들어내는 관행에 강력한 경고를 던졌으며, 향후 진정한 interpretability를 보장할 수 있는 원칙적인(principled) attention 아키텍처 연구를 촉발하는 중요한 이정표가 되었습니다.

---

7. 쉬운 설명 (Intuitive Analogy)

이 논문의 핵심 아이디어는 **"범인을 지목하는 스포트라이트(Attention)의 허상"**에 비유할 수 있습니다.
기존에는 인공지능 탐정(BiLSTM)이 어떤 영화 리뷰를 보고 '최악의 영화'라고 판결(Prediction)을 내릴 때, 탐정이 손전등(Attention Heatmap)으로 **'쓰레기(waste)'**라는 단어를 비추고 있으면 사람들은 당연히 "아, 저 단어 때문에 부정적인 판결을 내렸구나!"라고 믿었습니다. 하지만 저자들이 몰래 탐정의 손전등 방향을 돌려 전혀 상관없는 **'였다(was)'**라는 단어를 비추게(Adversarial Attention) 만들거나 불빛을 마구잡이로 흩뿌려도(Permutation), 탐정은 눈 하나 깜짝하지 않고 똑같이 '최악의 영화(0.01)'라는 판결을 내렸습니다. 즉, 탐정은 이미 뒤에서 모든 단어의 정황을 복잡하게 섞어서(Hidden States) 결론을 내렸을 뿐, 손전등 불빛(Attention)은 실제 판결 이유를 설명해 주는 증거가 아니라는 것을 밝혀낸 것입니다.

 

 

Faithful Explanation (충실한 설명)
저자들은 Attention Weight가 높은 단어를 모델의 판단 근거로 설명하는 것이 과연 Faithful한지 검증함.


Leave-One-Out (LOO, 하나씩 제거하기)
입력에서 특정 요소를 하나씩 제거한 뒤, 모델의 예측이 얼마나 달라지는지 측정하여 각 요소의 중요도를 평가하는 방법.


Counterfactual Attention Weights
원래 model이 생성한 attention distribution(alpha)을 대체하기 위해 인위적으로 구성한 가상의 attention 가중치 분포.


1. Attention과 실제 Feature Importance는 다를 수 있음. Attention이 높은 단어가 Gradient나 Leave-One-Out으로 측정했을 때 반드시 중요한 단어는 아니었습니다. 즉, Attention Weight를 실제 기여도로 해석하기 어렵다는 주장입니다.

2. 완전히 다른 Attention으로도 동일한 예측이 가능함. 원래 모델이 waste에 집중해 부정적으로 분류했다면, Attention을 was에 집중하도록 변경해도 동일한 부정적 예측이 나올 수 있습니다. 따라서 원래 Attention이 그 예측을 만들어낸 결정적인 이유라고 보기 어렵다는 것입니다.

3. 복잡한 Encoder에서는 Attention 해석이 더욱 어려움. BiLSTM의 Hidden State에는 주변 Token의 정보까지 섞여 있습니다. 따라서 특정 Token에 높은 Attention을 부여했다고 해서 해당 Token 자체의 정보가 중요했다고 볼 수 없습니다. 반면 단순한 Feedforward Encoder에서는 Attention과 Feature Importance 사이의 상관관계가 상대적으로 높았습니다.