VLM : 빠른 논문 리뷰 : Lost in the Middle, and In-Between: Enhancing Language Models' Ability to Reason Over Long Contexts in Multi-Hop QA

Study Notes: Lost in the Middle, and In-Between: Enhancing Language Models' Ability to Reason Over Long Contexts in Multi-Hop QA

---

Terminology & Concepts (용어 설명)

• Lost in the Middle: Long-context language models가 input context의 양 끝(시작과 끝부분)에 위치한 정보는 잘 활용하지만, 중간(middle)에 위치한 중요한 정보는 간과하여 성능이 저하되는 현상.
• Multi-Hop Question Answering (MHQA): 단일 문서가 아닌 여러 개의 분리된(disconnected) 문서들에 흩어져 있는 정보들을 순차적으로 연결하며 여러 단계의 reasoning hops를 거쳐야만 정답을 도출할 수 있는 QA task.
• Distractor Documents: Question에 답하는 데 필요한 핵심 정보(gold/evidence documents) 외에, 모델의 정확한 정보 검색 및 추론을 방해하기 위해 input context에 함께 섞어 넣는 무관한 문서들.
• Best-subspan Accuracy: 모델이 생성한 final output 텍스트 내에 정답(annotated answer) 문자열이 포함되어 있으면 1점, 아니면 0점을 부여하는 평가 metric.
• Knowledge Graph (KG) Triple Extraction: 문서 내의 불필요한 텍스트를 줄이기 위해 핵심 사실 관계만을 주어-서술어-목적어 형태의 구조화된 triples로 추출하는 context reduction 기법.
• ALiBi (Attention with Linear Biases): 기존의 고정된 positional embeddings를 대체하여 query와 key 사이의 거리에 비례하는 페널티(bias)를 부여함으로써 input length extrapolation을 가능하게 하는 attention 메커니즘.
• Primacy Bias & Recency Bias: 모델이 입력된 sequence의 가장 처음 부분(primacy)이나 가장 마지막 부분(recency)에 위치한 정보에 과도하게 의존하거나 주의를 기울이는 편향.

---

Purpose of the Paper

• 기존 연구의 한계: 기존의 "Lost in the Middle" 현상에 대한 분석과 해결책(document re-ranking, summarization 등)은 주로 정답이 단 하나의 문서에만 존재하는 Single-hop QA 환경에 국한되어 있었음.
• 왜 Multi-Hop QA인가?: 여러 문서에 걸쳐 다단계 추론(reasoning steps)이 필요한 Multi-hop QA에서는 추론 단계가 늘어남에 따라 가능한 문서 배치 순서(permutations)가 조합론적으로(combinatorially) 폭발함. 따라서 기존의 re-ranking이나 단순 확장 학습(extended training) 기법은 적용이 불가능에 가까우며, 무작정 텍스트를 요약할 경우 추론 연결고리(reasoning chain)에 필요한 핵심 정보가 유실될 위험이 큼.
• 새로운 문제 정의: 고정된 크기의 long context 내에서 단일 문서의 절대적 위치뿐만 아니라, **여러 개의 근거 문서(evidence documents)들 사이의 상대적 거리(relative distance)**가 multi-hop reasoning 성능에 미치는 영향을 최초로 규명하고, 이를 완화하기 위한 프롬프팅 및 문맥 축소 기법들의 실효성을 검증하고자 함.

---

Key Contributions & Novelty

• Multi-Hop 환경에서의 공간적 거리 영향 규명 (Novel Finding)
  • Contribution: 성능 저하가 정보의 절대적 위치(양 끝으로부터의 거리)뿐만 아니라, 정답 도출에 필요한 여러 **evidence documents 간의 상대적 거리(in-between distance)**에 의해서도 발생함을 입증함.
  • Novelty: 기존 연구(Liu et al., 2024)가 단일 문서의 절대적 위치 편향만 보았다면, 본 연구는 관련 문서들이 인접해 있을 때보다 distractor documents에 의해 분리되어 있을 때 추론 성능이 크게 하락한다는 공간적 배열(spatial arrangement)의 중요성을 새롭게 밝혀냄. (동시대의 Levy et al. 연구가 전체 input length 증가에 따른 성능 저하와 2-step true/false 질문에 그친 것과 달리, 고정된 context 내의 위치 편향과 최대 4-hop 추론을 심층 분석함).
• Chain-of-Thought (CoT) Prompting의 한계와 모델별 편차 발견 (Empirical Contribution)
  • Contribution: Instruction-tuned models에서는 CoT가 전반적인 QA 정확도를 높여주지만 문서 위치에 따른 성능 격차(positional bias) 자체는 해결하지 못하며, non-instruction-tuned model에서는 오히려 성능을 급격히 떨어뜨림을 확인함.
  • Novelty: CoT가 만능이 아니며, 특히 non-instruction-tuned model이 가진 강한 primacy bias(초두 효과)와 약한 recency bias로 인해 모델이 실제 context를 무시하고 프롬프트 앞단의 few-shot exemplars에 과도하게 의존하게 되는 실패 메커니즘을 규명함.
• Context Reduction 기법의 Trade-off 증명 (Methodological Analysis)
  • Contribution: Summarization(BART-large-CNN 활용)과 Knowledge Graph Triple Extraction(LLaMA-2-7b 활용)을 통해 문서 길이를 줄이면 위치 편향 곡선이 평평해져(flattening) "Lost in the Middle" 현상은 완화되지만, 전체적인 정확도는 하락함을 보임.
  • Novelty: 문맥 축소가 덜 강건한(less robust) non-instruction-tuned model에게는 유용한 전처리(preprocessing)가 될 수 있으나, 고성능 instruction-tuned models에서는 핵심 정보 손실로 인해 multi-hop reasoning chain이 깨지는 치명적인 trade-off가 발생함을 입증함.

---

Experimental Highlights

• Experimental Setup
  • Datasets: 3개의 대표적인 MHQA datasets (HotpotQA [2 hops], 2WikiMultihopQA [2, 4 hops], MuSiQue-Ans [2, 3, 4 hops]). 총 20개의 문서(gold documents + distractor documents)로 구성된 프롬프트 내에서 gold documents의 위치를 다양하게 조작함 (인접 배치 5가지 조합, 분리 배치 3~4가지 조합).
  • Models: Open-source 및 closed-source를 아우르는 3개의 long-context models (MPT-7b-8k-instruct, Llama-2-7b-longlora-8k-ft, GPT-3.5-turbo-1106).
  • Metric: Best-subspan accuracy (Temperature 0, 최대 생성 길이 256 tokens).
• Key Quantitative & Qualitative Results
  • 인접 배치 vs. 분리 배치 (Proximity Effect): GPT-3.5-turbo와 MPT-7b 모두 모든 데이터셋에서 관련 문서들이 인접(Adjacent)해 있을 때보다 분리(Separated)되어 있을 때 평균 정확도가 일관되게 하락함. 예를 들어, GPT-3.5-turbo의 MuSiQue (2-hop, standard) 기준 인접 배치인 (1, 2) 위치에서는 56.23%를 기록했으나, 중간에 분리 배치된 (5, 10)에서는 40.89%, (10, 15)에서는 38.18%로 급감함.
  • CoT의 양면성: MPT-7b의 2WikiMultihopQA (4-hop)에서 Standard(51.90%, 위치 17,18,19,20) 대비 Standard + CoT(73.50%)로 큰 폭의 성능 향상을 보임. 반면, non-instruction-tuned 모델인 Llama-2-7b-longlora는 2WikiMultihopQA (4-hop, 위치 1,2,3,4)에서 Standard가 30.75%였으나 Standard + CoT 적용 시 0.51%로 성능이 붕괴됨.
  • Context Reduction의 영향: GPT-3.5-turbo의 HotpotQA (위치 1, 2)에서 Full Document(76.72%) 사용 시보다 Summarization(60.11%)이나 KG Extraction(56.09%) 적용 시 정확도가 크게 하락함. 반면, 기본 추론 능력이 부족한 Llama-2-7b-longlora는 HotpotQA (위치 1, 2)에서 Full Document(3.11%) 대비 Summarization(20.09%), KG Extraction(25.76%) 적용 시 오히려 큰 폭의 성능 향상을 달성함.

---

Limitations and Future Work

• 조합론적 폭발로 인한 부분적 위치 평가 (Combinatorial Constraints)
  • Limitation: 20개 문서 중 k개의 근거 문서를 배치하는 경우의 수는 2-hop에서 190개, 3-hop에서 1140개, 4-hop에서 4845개에 달함. 계산 비용과 시간 제약으로 인해 모든 순열을 테스트하지 못하고 일부 대표 조합(인접 및 일정 간격 분리)만 평가하여 미세한 위치 변화에 따른 전체 성능 변동을 완벽히 포착하지 못함.
  • Future Work: 효율적인 평가 방법론이나 스마트한 샘플링 전략(sampling strategies)을 도입하여 더 복잡하고 미묘한 문서 배열이 추론에 미치는 영향을 폭넓게 탐색해야 함.
• Out-of-the-box 문맥 축소 기법의 정보 손실 (Fragile Context Reduction)
  • Limitation: 실험에 사용된 일반적인(out-of-the-box) 요약 및 KG 추출 모델들은 multi-hop 질문의 특성을 고려하지 않고 독립적으로 문서를 축소하기 때문에, 다단계 추론 경로(reasoning paths)를 유지하는 데 필수적인 세부 정보를 누락시켜 전체 정확도를 떨어뜨림.
  • Future Work: Unsupervised learning, 고도화된 RAG, 또는 task-specific fine-tuning을 활용하여 불필요한 정보는 줄이면서도 핵심 추론 연결고리는 보존하는 맞춤형 전처리(tailored preprocessing) 기법 개발이 필요함.
• 모델 아키텍처 및 프롬프팅의 한계 (Model & Prompting Disparity)
  • Limitation: Non-instruction-tuned 모델은 CoT를 전혀 활용하지 못하며, 실험에 사용된 모델들 이후에 등장한 최신 대규모 모델들의 강건성은 확인하지 못함.
  • Future Work: Non-instruction-tuned 모델도 활용 가능한 Dynamic CoT 등의 고도화된 프롬프팅 기법을 연구하고, 최신 state-of-the-art 모델들을 평가해야 함. 나아가 외부 메모리 메커니즘(external memory mechanisms)을 통합하거나 관련 근거를 동적으로 우선순위화하는 아키텍처 개선이 필요함.

---

Overall Summary

본 논문은 long-context language models의 고질적인 문제인 "Lost in the Middle" 현상을 여러 문서에 걸친 추론이 필요한 Multi-Hop QA 환경으로 확장하여 심층 분석한 연구이다. 실험 결과, 모델의 추론 성능은 근거 문서들이 문맥의 양 끝에서 얼마나 떨어져 있는지(절대적 위치)뿐만 아니라, 근거 문서들끼리 서로 얼마나 멀리 떨어져 있는지(상대적 거리)에 의해서도 크게 저하됨을 최초로 밝혀냈다. 또한 이를 해결하기 위한 CoT 프롬프팅과 문서 요약 및 KG 추출 같은 context reduction 기법들이 위치 편향을 일부 완화할 수는 있어도 정보 손실이나 모델 특성으로 인해 근본적인 해결책이 되지 못함을 입증함으로써, 향후 복잡한 장문 추론을 위한 새로운 LLM 아키텍처 및 전처리 기법 설계에 중요한 이정표를 제시한다.

---

쉬운 설명 (Intuitive Analogy)

이 논문의 핵심 발견은 마치 **"스무고개 방탈출 게임에서 단서 찾기"**와 같습니다. 기존 연구들은 단순히 "단서 하나가 방의 맨 앞이나 맨 끝에 있을 때보다 방 한가운데 숨겨져 있을 때 찾기 어렵다(Lost in the Middle)"는 것만 알아냈습니다. 반면 이 논문은 여러 개의 단서를 조합해야 풀리는 복잡한 문제(Multi-Hop QA)에서는, 단서들이 방 한가운데 있을 때뿐만 아니라 **"단서와 단서 사이의 거리가 멀어지고 그 사이에 가짜 단서(Distractors)들이 끼어 있을 때도(In-Between) 추론 연결고리를 놓쳐버린다"**는 사실을 밝혀낸 것입니다. 게다가 단서를 쉽게 찾으려고 단서 내용을 세 줄 요약(Summarization/KG)해버리면, 위치에 따른 유불리는 줄어들지 몰라도 정작 문제를 푸는 데 필요한 결정적 힌트까지 같이 지워져서 정답을 맞히지 못하게 된다는 딜레마를 명확히 보여준 연구입니다.

 

 

 

 

Lost in the Middle: Long-context language models가 input context의 양 끝(시작과 끝부분)에 위치한 정보는 잘 활용하지만, 중간(middle)에 위치한 중요한 정보는 간과하여 성능이 저하되는 현상.

Multi-Hop Question Answering (MHQA): 단일 문서가 아닌 여러 개의 분리된(disconnected) 문서들에 흩어져 있는 정보들을 순차적으로 연결하며 여러 단계의 reasoning hops를 거쳐야만 정답을 도출할 수 있는 QA task.

Distractor Documents: Question에 답하는 데 필요한 핵심 정보(gold/evidence documents) 외에, 모델의 정확한 정보 검색 및 추론을 방해하기 위해 input context에 함께 섞어 넣는 무관한 문서들.

Best-subspan Accuracy: 모델이 생성한 final output 텍스트 내에 정답(annotated answer) 문자열이 포함되어 있으면 1점, 아니면 0점을 부여하는 평가 metric.

Knowledge Graph (KG) Triple Extraction: 문서 내의 불필요한 텍스트를 줄이기 위해 핵심 사실 관계만을 주어-서술어-목적어 형태의 구조화된 triples로 추출하는 context reduction 기법.

ALiBi (Attention with Linear Biases): 기존의 고정된 positional embeddings를 대체하여 query와 key 사이의 거리에 비례하는 페널티(bias)를 부여함으로써 input length extrapolation을 가능하게 하는 attention 메커니즘.

Primacy Bias & Recency Bias: 모델이 입력된 sequence의 가장 처음 부분(primacy)이나 가장 마지막 부분(recency)에 위치한 정보에 과도하게 의존하거나 주의를 기울이는 편향.




결론부터 말하면, 증거가 Context 중간에 있을 때뿐 아니라, 증거끼리 멀리 떨어져 있을 때도 성능이 감소한다는 것을 관찰

Long-Context Multi-Hop Reasoning에서 기존에 충분히 분석되지 않았던 실패 요인을 찾아낸 실험·분석 논문


논문의 주장을 정리하면 세 가지입니다.
첫째, Long-Context를 처리할 수 있다는 것과 Long-Context의 정보를 제대로 활용할 수 있다는 것은 다릅니다.
필요한 정보가 이미 입력에 포함되어 있어도 배치된 위치에 따라 정답률이 달라집니다.


둘째, Multi-Hop Reasoning에서는 증거 하나하나의 위치뿐 아니라 증거 사이의 상대적인 배치도 중요합니다.
따라서 기존의 Single-Hop 중심 Lost in the Middle 분석만으로는 Multi-Hop QA의 어려움을 충분히 설명하지 못합니다.


셋째, 단순한 CoT나 Context 압축만으로는 해결하기 어렵습니다.
저자들은 필요한 정보를 보존하면서 여러 증거 사이의 연결을 유지하는 Context 처리 및 Retrieval 방법이 필요하다고 제안합니다.

 

 

 

 

 

기존 Lost in the Middle 연구가 단일 증거의 위치에 집중했다면, 이 논문은 Multi-Hop QA에서 증거의 절대적 위치뿐 아니라 증거 간 거리도 정답률에 영향을 준다는 것을 보여줌. 필요한 증거가 모두 Context에 존재하더라도 서로 멀리 떨어져 있으면 성능이 감소하는 경향이 있음. CoT는 정확도를 높일 수 있지만 위치 편향을 해결하지 못하고, 요약이나 KG 기반 압축은 위치 편향을 완화하는 대신 정보 손실로 정확도가 감소할 수 있음. 결국 긴 Context에 증거를 제공하는 것만으로는 충분하지 않으며, 여러 증거의 연결 관계를 효과적으로 활용하고 보존하는 것이 중요하다는 것이 핵심.