LLM : 논문리뷰 : Self-Rewarding Language Models

 

Self-Rewarding Language Models 논문 정리 노트

Purpose of the Paper (논문의 목적)

기존의 Superhuman agent 개발을 위한 연구들은 human preference data에 기반한 reward model 학습에 의존하고 있습니다. 하지만 이러한 접근 방식은 다음과 같은 두 가지 근본적인 한계점을 가집니다.

1. Human Performance Bottleneck: Reward model이 결국 human preference data를 통해 학습되기 때문에, reward model의 성능 자체가 인간의 performance level에 의해 제한될 수 밖에 없습니다. 즉, 인간 수준을 뛰어넘는 superhuman feedback을 제공하는 reward model을 학습하기 어렵습니다.
2. Frozen Reward Model의 한계: 기존 방식에서는 학습된 reward model이 frozen 상태로 유지됩니다. 따라서 LLM training 과정에서 reward model 자체가 개선되지 못하고, LLM의 instruction following 능력이 향상되어도 reward model은 여전히 초기 human preference data에 갇혀있게 됩니다.

본 논문에서는 이러한 문제점을 해결하고자 Self-Rewarding Language Models라는 새로운 패러다임을 제시합니다. 핵심 아이디어는 language model 스스로 LLM-as-a-Judge prompting을 통해 자신의 response에 대한 reward를 생성하고, 이를 training에 활용하여 instruction following 능력과 reward modeling 능력을 동시에 self-improve 시키는 것입니다. 즉, **"separate frozen reward model"**이라는 기존 방식의 한계를 극복하고, language model 자체가 "self-improving reward model" 역할을 수행하도록 하는 것이 본 논문의 주요 목적입니다.

Key Contributions (주요 공헌)

본 논문은 Self-Rewarding Language Models라는 새로운 접근 방식을 통해 다음과 같은 주요 contribution을 제시합니다.

• Self-Rewarding Language Models 프레임워크 제안: LLM-as-a-Judge prompting을 활용하여 language model 스스로 reward를 생성하고, Iterative DPO training을 통해 instruction following 능력과 reward modeling 능력을 동시에 향상시키는 Self-Rewarding Language Models 프레임워크를 제안합니다.
• Iterative DPO를 통한 Self-Improvement 입증: Iterative DPO training을 통해 instruction following 능력뿐만 아니라 reward modeling 능력까지 self-improve될 수 있음을 실험적으로 입증합니다. 이는 모델이 iteration을 거듭할수록 더 높은 quality의 preference dataset을 스스로 생성할 수 있음을 의미합니다.
• State-of-the-art 성능 달성: Llama 2 70B 모델에 Self-Rewarding Language Models 프레임워크를 적용하여 3 iteration training만으로 AlpacaEval 2.0 leaderboard에서 Claude 2, Gemini Pro, GPT-4 0613 등 기존의 state-of-the-art 모델들을 능가하는 성능을 달성합니다.
• Continual Improvement 가능성 제시: Self-Rewarding Language Models는 모델 스스로 reward를 생성하고 개선해나가는 virtuous circle 구조를 통해, human preference data의 한계를 넘어 continual improvement 가능성을 제시합니다. 이는 future model이 superhuman agent로 발전할 수 있는 door를 열었다는 점에서 중요한 의미를 가집니다.

Novelty (논문의 참신성)

본 논문의 가장 큰 novelty는 기존의 frozen reward model 방식에서 벗어나 self-improving reward model이라는 새로운 개념을 제시했다는 점입니다. 구체적인 novelty는 다음과 같습니다.

• Self-Reward Mechanism: language model이 external human feedback 없이 LLM-as-a-Judge prompting을 통해 스스로 reward를 생성하고 training에 활용하는 self-reward mechanism은 기존 RLHF, DPO 방식과 차별화되는 novel approach입니다.
• Iterative Self-Improvement Loop: instruction following 능력과 reward modeling 능력이 서로 reinforce하며 iteration을 거듭할수록 함께 향상되는 iterative self-improvement loop는 기존 연구에서 찾아보기 힘든 novel concept입니다.
• Task Transfer between Reward Modeling and Instruction Following: pretraining 및 multitasking training처럼 reward modeling task를 instruction following system에 통합하여 task transfer 효과를 얻는다는 아이디어는 novel하고 효과적인 접근 방식입니다.
• Human Bottleneck 극복: Self-Rewarding Language Models는 human preference data에 대한 의존도를 낮추고 모델 스스로 지속적인 개선을 가능하게 함으로써, 기존 방식의 human bottleneck 문제를 novel하게 해결합니다.

Experimental Highlights (실험 결과 하이라이트)

본 논문은 다양한 실험을 통해 Self-Rewarding Language Models의 효과를 입증했습니다. 주요 experimental highlights는 다음과 같습니다.

• Instruction Following 능력 향상: Iterative DPO training을 통해 Self-Rewarding Language Models (M2, M3)는 SFT baseline 및 Iteration 1 모델 (M1) 대비 instruction following 능력이 head-to-head evaluation에서 뚜렷하게 향상되었습니다. 특히 Iteration 2 (M2)에서 Iteration 1 (M1) 및 SFT baseline 대비 큰 성능 향상을 보였습니다.
• AlpacaEval 2.0 Leaderboard 성능: AlpacaEval 2.0 leaderboard에서 Iteration 3 모델 (M3)는 GPT4-Turbo 대비 win rate가 iteration을 거듭할수록 향상되었으며, Claude 2, Gemini Pro, GPT-4 0613 등 경쟁 모델들을 능가하는 state-of-the-art 성능을 달성했습니다.
• Reward Modeling 능력 향상: Self-Rewarding Language Models는 iteration을 거듭할수록 human preference data와의 correlation이 증가하는 것을 확인했습니다. Pairwise accuracy, Spearman correlation, Kendall's τ 등 다양한 metric에서 Iteration 2 (M2)가 Iteration 1 (M1)보다, Iteration 1 (M1)이 SFT baseline보다 reward modeling 능력이 향상되었습니다.
• Fine-grained Analysis: AlpacaEval instruction category 분석 결과, Self-Rewarding Models는 대부분의 category에서 win rate가 향상되었지만, mathematics, logical reasoning 등 특정 task에서는 개선이 미미했습니다. 이는 현재 training 방식이 모델의 기존 knowledge를 활용하는 데는 효과적이지만, 새로운 reasoning 능력을 학습시키는 데는 한계가 있음을 시사합니다.
• Human Evaluation과의 일치: Human evaluation 결과는 GPT-4 evaluation 결과와 일치하게 Self-Rewarding Models가 SFT baseline 대비 head-to-head win rate가 iteration을 거듭할수록 향상되는 경향을 보였습니다. 이는 automatic evaluation 결과의 신뢰성을 뒷받침합니다.

Limitations (논문의 한계점)

본 논문은 Self-Rewarding Language Models의 가능성을 성공적으로 입증했지만, 다음과 같은 limitation을 가집니다.

• Preliminary Results: 실험 결과는 promising하지만, 아직 초기 단계이며 더 많은 avenue를 탐색해야 합니다. 특히 safety evaluation, iterative training의 한계점 등 추가적인 연구가 필요합니다.
• Limited Iterations: 실험은 단 3 iteration만 진행되었으며, 더 많은 iteration에서의 "scaling laws" 및 long-term behavior에 대한 분석이 부족합니다.
• Safety Evaluation 부재: Safety 측면에서의 evaluation이 부족하며, Self-Rewarding Language Models의 potential harmfulness에 대한 분석이 필요합니다.
• Reward Hacking 가능성: Self-reward mechanism이 "reward hacking"으로 이어질 가능성에 대한 심층적인 분석 및 mitigation strategy 연구가 필요합니다.
• GPT-4 Evaluation 의존: automatic evaluation에 GPT-4를 사용했으며, 이는 평가 모델에 대한 bias 가능성을 내포합니다. Human evaluation을 통해 validation을 시도했지만, 더욱 다양한 평가 방식 및 human annotator pool 확장이 필요합니다.
• Length Bias: 모델 generation length가 iteration을 거듭할수록 증가하는 경향을 보였으며, length와 quality 간의 correlation에 대한 deeper understanding이 필요합니다.

Future Work (향후 연구 방향)

본 논문의 limitation을 극복하고 Self-Rewarding Language Models의 potential을 fully explore하기 위한 future work 방향은 다음과 같습니다.

• Further Evaluation: Safety evaluation, 다양한 benchmark 및 downstream task에서의 성능 평가 등 evaluation 범위를 확장해야 합니다.
• Scaling Iterations: 더 많은 iteration (e.g., 3 iteration 이상)을 통해 Self-Rewarding Language Models의 scaling laws 및 long-term behavior를 분석해야 합니다.
• Safety Training Integration: LLM-as-a-Judge procedure를 safety evaluation에 특화하여 Self-Rewarding training process에 통합하는 safety training 연구가 필요합니다.
• Reward Hacking Mitigation: "reward hacking" 문제에 대한 mitigation strategy 개발 및 robust self-reward mechanism 연구가 필요합니다.
• Diverse Datasets & Tasks: Open Assistant seed data 외에 더 다양한 datasets 및 task (e.g., reasoning tasks)를 활용하여 Self-Rewarding Language Models의 generalization capability를 향상시켜야 합니다.
• Theoretical Analysis: Self-Rewarding Language Models의 convergence properties, stability, optimal performance 등에 대한 theoretical analysis 연구가 필요합니다.
• Real-world Application: Self-Rewarding Language Models를 real-world interactive system에 적용하고 user feedback loop을 통합하는 연구가 필요합니다.

총평

본 논문은 Self-Rewarding Language Models라는 novel framework를 제시하고, Iterative DPO training을 통해 instruction following 능력과 reward modeling 능력을 동시에 self-improve 시킬 수 있음을 입증했습니다. 특히 AlpacaEval leaderboard에서 state-of-the-art 성능을 달성하며 self-rewarding paradigm의 potential을 성공적으로 보여주었습니다. Future work 방향을 통해 limitation을 극복하고 연구를 더욱 발전시킨다면, Self-Rewarding Language Models는 future superhuman agent 개발에 중요한 milestone이 될 것으로 기대됩니다.

 

 

 

 

Abstract

우리는 superhuman agent를 달성하기 위해서는 미래의 model이 적절한 training signal을 제공하기 위해 superhuman feedback이 필요하다고 가정합니다. 현재의 접근 방식은 일반적으로 인간의 선호도로부터 reward model을 train 하며, 이는 인간의 수행 능력 수준에 의해 병목 현상이 발생할 수 있고, 둘째로 이러한 별도의 고정된 reward model은 LLM training 중에 개선되도록 학습할 수 없습니다. 이 연구에서 우리는 Self-Rewarding Language Model을 연구하는데, 여기서 language model 자체는 LLM-as-a-Judge prompting을 통해 training 중에 자체 reward를 제공하는 데 사용됩니다. 우리는 Iterative DPO training 중에 instruction following 능력이 향상될 뿐만 아니라 자신에게 고품질의 reward를 제공하는 능력도 향상된다는 것을 보여줍니다. 우리의 접근 방식의 세 가지 반복에서 Llama 2 70B를 fine-tuning 한 결과 AlpacaEval 2.0 leaderboard에서 Claude 2, Gemini Pro 및 GPT-4 0613을 포함한 많은 기존 system을 능가하는 model이 생성되었습니다. 아직 탐구해야 할 부분이 많지만, 이 연구는 두 축에서 지속적으로 개선될 수 있는 model의 가능성을 열어줍니다.