AI바라기의 인공지능
world model : 논문 리뷰 : Learning from Reward-Free Offline Data:A Case for Planning with Latent Dynamics Models 본문
world model : 논문 리뷰 : Learning from Reward-Free Offline Data:A Case for Planning with Latent Dynamics Models
AI바라기 2026. 6. 23. 16:32
용어 설명
- Reward-free offline data: 보상(reward) 정보가 전혀 포함되어 있지 않은 과거의 경험 데이터셋. 에이전트가 특정 목표를 위해 수집한 데이터가 아니라, 무작위 행동이나 질 낮은 탐색 등으로 얻어진 suboptimal 데이터를 포함합니다.
- PLDM (Planning with a Latent Dynamics Model): 이 논문에서 제안하는 핵심 방법론. 픽셀 단위의 복원(reconstruction) 없이 잠재 공간(latent space)에서 환경의 변화 법칙을 학습하고, 테스트 시점에는 이를 바탕으로 MPPI를 사용해 최적의 행동을 계획(planning)합니다.
- JEPA (Joint Embedding Predictive Architecture): 미래 상태의 픽셀을 직접 예측하는 대신, 미래 상태의 잠재 표현(latent representation)을 예측하도록 학습하는 구조. 픽셀 복원 과정에서 발생하는 노이즈나 불필요한 정보 처리를 방지합니다.
- Trajectory stitching: 짧고 끊어진 여러 개의 궤적(trajectory) 데이터들을 바느질하듯 연결하여, 데이터셋에 존재하지 않는 먼 거리의 목표 도달 경로를 찾아내는 능력입니다.
- Model-free GCRL (Goal-Conditioned RL): 환경의 동작 방식(dynamics)을 명시적으로 모델링하지 않고, 주어진 목표(goal)에 도달하기 위한 행동 정책(policy)을 직접 학습하는 강화학습 방법론들입니다.
- MPPI (Model Predictive Path Integral control): PLDM이 테스트 시점에 사용하는 샘플링 기반의 planning 알고리즘으로, 학습된 dynamics model을 이용해 여러 미래 시나리오를 시뮬레이션하고 가장 비용이 적은 행동 궤적을 선택합니다.
Purpose of the Paper
- 기존 연구의 한계: 기존의 offline RL은 막대한 양의 보상(reward)이 라벨링된 데이터를 필요로 하며 단일 task에 국한되는 경향이 있습니다. 최근 보상 없는 데이터(reward-free)를 활용하는 연구들(GCRL, zero-shot RL)이 등장했으나, 데이터의 질(짧은 길이, 무작위성, 제한된 공간 커버리지)이 알고리즘 성능에 구체적으로 어떤 영향을 미치는지에 대한 체계적인 분석이 부재했습니다.
- 새로운 문제 정의 및 접근 방식: 본 논문은 단순히 새로운 모델을 제시하는 것을 넘어, 데이터 품질이 저하된 상황에서 RL(model-free)과 Optimal Control(model-based) 패러다임 중 무엇이 더 우수한지 근본적으로 비교합니다. 이를 위해 데이터 생성 과정을 세밀하게 통제한 23개의 dataset을 구축하고, 환경의 역학을 잠재 공간에서 학습하여 계획을 수립하는 PLDM을 제안함으로써, 제한적인 suboptimal 데이터 하에서는 model-based 접근이 훨씬 강력함을 입증하고자 했습니다.
Key Contributions
- 세밀하게 통제된 데이터 품질 벤치마크 구축 (Contribution): 데이터 길이, 무작위성, 레이아웃 커버리지 등을 독립적으로 조작한 23개의 navigation dataset을 생성하여 데이터 특성이 알고리즘에 미치는 영향을 고립시켜 분석했습니다.
- Novelty: 기존 벤치마크들이 단순히 '전문가 데이터 vs 탐색 데이터' 수준의 비교에 머물렀던 것과 달리, trajectory stitching, random policy 학습 능력 등을 세밀하게 스트레스 테스트할 수 있는 환경을 제공합니다.
- Latent Dynamics Planning (PLDM) 제안 (Contribution): JEPA 기반의 reconstruction-free 목적 함수를 사용하여 reward-free 데이터로부터 latent dynamics model을 학습하고, 테스트 시점에 목표 도달을 위해 planning을 수행하는 PLDM 구조를 제안했습니다.
- Novelty: 기존 Dreamer 계열의 픽셀 복원(reconstruction) 기반 모델들이 보상 없는 offline 환경에서 실패(collapse)하는 문제를 VICReg 기반의 분산 유지 목적 함수와 Inverse Dynamics Modeling(IDM)을 결합하여 해결했습니다.
- 패러다임 간 명확한 강점 규명 (Contribution): Model-free GCRL은 데이터가 풍부하고 질이 좋을 때만 잘 작동하며, Zero-shot RL(HILP)은 stitching에는 강하지만 새로운 환경(unseen layout)에서는 완전히 실패한다는 것을 밝혀냈습니다. 반면 PLDM은 모든 악조건에서 가장 일관성 있는 generalization 성능을 보였습니다.
Experimental Highlights
- 핵심 실험 설정: Two-Rooms, Diverse PointMaze, 29차원 상태 공간을 가진 Ant U-Maze 환경에서 실험 진행. Baseline으로 SOTA model-free 및 zero-shot 메서드인 CRL, GCBC, GCIQL, HIQL, HILP를 사용했습니다.
- Random Policy Data에서의 극단적 효율성: 방향성이 없는 무작위 행동 데이터로 학습했을 때, 기존 GCRL 방법론들은 먼 거리의 목표를 out-of-distribution으로 인식하여 실패했습니다. 반면 PLDM은 무작위 궤적만으로도 환경의 dynamics를 정확히 파악하여 GCIQL과 함께 가장 높은 sample efficiency를 달성했습니다.
- Unseen Environment Layouts에서의 SOTA 달성 (가장 중요): Diverse PointMaze에서 단 5개의 미로 구조(layout)만으로 학습한 뒤, 형태가 전혀 다른 out-of-distribution 레이아웃에서 테스트를 진행했습니다. 그 결과, HILP를 포함한 모든 model-free baseline의 성공률이 0%로 수렴한 반면, PLDM은 유일하게 일관된 성공을 거두며 압도적인 generalization 성능을 증명했습니다.
- Zero-shot Task Transfer 성공: 목표 도달(goal-reaching) 데이터로만 학습된 모델을 사용해 '추적자를 피해 도망치는(chaser avoidance)' 완전히 새로운 task를 테스트했습니다. PLDM은 planning의 목적 함수(cost) 부호만 반대로 뒤집는 단순한 조작만으로 HILP보다 훨씬 먼 거리를 유지하며 회피하는 데 성공했습니다.
Limitations and Future Work
- 한계점 1: Inference 연산 비용 (속도): PLDM은 매 스텝마다 MPPI를 통해 planning을 수행하므로 model-free baseline 대비 추론 시간이 약 4배 느립니다.
- Future Work: 실시간 제어가 필수적인 로보틱스 적용을 위해, forward model을 통한 gradient 역전파를 활용하거나 amortized planning 기법을 도입하여 test-time 효율성을 대폭 개선해야 합니다.
- 한계점 2: 제한된 실험 도메인: 본 연구는 2D/3D navigation 및 Ant 제어 작업에 국한되어 있으며, 로봇 매니퓰레이션이나 부분 관찰 가능 환경(partially observable environments)은 배제되었습니다.
- Future Work: 제안된 잠재 역학 모델링이 시각적 복잡성이 높은 현실 세계의 로봇 조작 작업이나, 상태 정보가 가려진 복잡한 도메인에서도 확장 적용 가능한지 검증하는 연구가 필요합니다.
- 한계점 3: 장기 예측 시의 오차 누적 (Accumulating prediction errors): Long-horizon reasoning이 필요한 작업에서는 예측 모델이 스텝을 거듭할수록 오차가 누적되는 고질적인 문제가 발생합니다.
- Future Work: Dynamics learning method를 개선하여 예측 오차 누적을 완화하는 것이 복잡한 task 해결을 위한 핵심 과제입니다.
Overall Summary
이 논문은 reward-free offline data 환경에서 데이터의 품질과 양이 RL 및 optimal control 패러다임에 미치는 영향을 23개의 통제된 데이터셋을 통해 체계적으로 규명했습니다. 연구진은 픽셀 복원이 필요 없는 JEPA 기반의 세계 모델 PLDM을 제안하여, 짧고 무작위적인 궤적 데이터만으로도 학습이 가능하고 특히 학습 데이터에 없던 새로운 장애물 구조(unseen layouts)와 새로운 task에 대해 기존 SOTA 모델들을 압도하는 generalization 능력을 입증했습니다. 이는 완벽한 전문가 데이터나 보상 함수 없이도, 질 낮은 과거 데이터만으로 다양한 미지의 환경과 임무에 적응할 수 있는 범용 자율 에이전트(general autonomous agent) 구축에 있어 model-based planning 접근법이 핵심적인 돌파구가 될 수 있음을 강력히 시사합니다.
쉬운 설명
기존의 model-free 학습 방식이 **"A에서 B로 가는 특정한 길 찾기 요령"**만을 달달 외우는 방식이라면, 중간 길이 끊겨 있거나(짧은 데이터) 한 번도 본 적 없는 새로운 장애물(unseen layout)이 등장했을 때 완전히 길을 잃고 멈춰버립니다.
반면, 이 논문이 제안하는 PLDM은 길을 외우는 대신 **"이 세상의 공간과 지형지물이 어떤 물리법칙으로 연결되어 있는지(Latent Dynamics)"**를 먼저 깨우치는 방식입니다. 그래서 방향성 없이 제자리걸음만 치던 엉망진창인 데이터(Random data)만 보고도 세상의 동작 원리를 파악할 수 있으며, 완전히 새로운 낯선 미로에 떨어지거나 심지어 '목표지점 찾기'가 아니라 '술래 피하기'라는 전혀 다른 미션이 주어져도, 머릿속으로 시뮬레이션(Planning)을 돌려 즉각적으로 최적의 행동을 만들어낼 수 있습니다.
Abstract
AI 분야의 오랜 목표는 training 중에는 전혀 본 적 없는 environments를 포함하여 다양한 environments에 걸쳐 여러 과제를 해결할 수 있는 agents를 개발하는 것입니다.
이 과제를 해결하는 두 가지 주요 패러다임이 있습니다. 첫째는 시행착오를 통해 policies를 학습하는 reinforcement learning(RL)이며, 둘째는 알려져 있거나 학습된 dynamics model을 사용하여 행동을 계획하는 optimal control입니다.
하지만 agents가 reward-free trajectories로부터 학습해야 하는 offline setting에서 이 두 방식의 비교 우위는 아직 충분히 탐구되지 않았습니다.
본 연구에서는 다양한 품질의 offline datasets를 사용하여 일련의 navigation 과제에서 RL 및 optimal control 기반 methods를 체계적으로 평가합니다.
RL 측면에서는 goal-conditioned 및 zero-shot methods를 고려합니다. Optimal control 측면에서는 Joint Embedding Predictive Architecture(JEPA)를 사용하여 latent dynamics model을 train하고 이를 planning에 활용합니다.
우리는 data 다양성, trajectory 품질 및 environment 변동성과 같은 요인이 이러한 접근 방식의 성능에 어떤 영향을 미치는지 조사합니다.
연구 결과에 따르면 model-free RL은 대량의 고품질 data에서 가장 큰 이점을 얻는 반면, model-based planning은 처음 접하는 레이아웃에 더 잘 일반화되고 더 data-efficient하며, 최신 model-free methods와 비슷한 수준의 trajectory stitching 성능을 달성합니다.
특히, latent dynamics model을 사용한 planning은 suboptimal offline data를 처리하고 다양한 environments에 적응하기 위한 강력한 접근 방식임이 입증되었습니다.
1 Introduction
이전에 본 적 없는 tasks와 environments의 조합에서도 좋은 성능을 발휘하는 시스템을 어떻게 구축할 수 있을까요? 유망한 접근 방식 중 하나는 online interactions나 expert demonstrations에 의존하는 것을 피하고, 대신 reward annotations가 없는 기존의 suboptimal trajectories의 대규모 컬렉션을 활용하는 것입니다. 크게 두 가지 주요 분야가 이러한 데이터로부터 학습하기 위한 유망한 해결책을 제시합니다: 바로 reinforcement learning과 optimal control입니다.
online reinforcement learning은 agents가 아타리 게임, 바둑부터 실제 로봇 제어에 이르기까지 복잡한 tasks를 마스터할 수 있게 해주었지만, 엄청난 양의 environment interactions를 필요로 합니다. 예를 들어, OpenAI 등은 로봇이 루빅스 큐브를 안정적으로 다룰 수 있도록 train시키기 위해 실시간 손 조작 경험으로 100년에 해당하는 양을 사용했습니다. 이러한 비효율성을 해결하기 위해, 해당하는 reward annotations가 있는 state-action trajectories로부터 행동을 학습하는 offline RL methods가 개발되었습니다. 하지만 이러한 methods는 일반적으로 단일 task에 대해서만 agents를 train시키기 때문에 다른 downstream tasks에서의 재사용이 제한됩니다. 이를 극복하기 위해, 최근 연구에서는 offline reward-free trajectories로부터 행동을 학습하는 방법을 탐구했습니다. 이 reward-free paradigm은 agents가 suboptimal data로부터 학습하고 learned policy를 사용하여 다양한 downstream tasks를 해결할 수 있게 해준다는 점에서 특히 매력적입니다. 예를 들어, 옷감과 상호작용하는 저품질 로봇 데이터로 train된 시스템은 나중에 빨래 개기와 같은 tasks로 generalize될 수 있습니다.
optimal control은 이 과제를 다르게 해결합니다: 시행착오를 통해 policy function을 학습하는 대신, 알려진 dynamics model을 사용하여 행동을 planning합니다. 현실 세계의 dynamics는 정확히 명시하기 어려운 경우가 많으므로, 대신 데이터로부터 model을 학습하는 많은 접근 방식들이 있습니다. 이러한 model-based 접근 방식은 본 적 없는 물체를 포함하는 조작 tasks에서 generalization을 보여주었습니다. 중요한 점은 dynamics models가 reward-free offline trajectories로부터 직접 train될 수 있다는 것이며, 이는 이 방식을 강력한 대안으로 만듭니다.
reinforcement learning 및 optimal control의 상당한 발전에도 불구하고, reward-free offline learning에서 pre-training data 품질의 역할은 아직 상당 부분 탐구되지 않은 상태로 남아있습니다. 이전 연구들은 성능에 영향을 미치는 데이터 품질의 특정 측면을 분리하지 않고, 주로 expert 또는 exploratory policies로부터 얻은 데이터로 train된 RL methods에 초점을 맞추었습니다. 본 연구에서는 reward-free trajectories로부터 학습하기 위한 다양한 접근 방식의 강점과 한계를 체계적으로 평가하여 이러한 공백을 해결합니다. 우리는 품질과 양이 모두 다양한 offline datasets 환경에서 여러 학습 패러다임이 어떻게 작동하는지 평가합니다. 연구의 기반을 다지기 위해, 우리는 많은 실제 로봇 시스템의 필수적인 측면이자 spatial reasoning, generalization, 그리고 trajectory stitching이 중요한 역할을 하는 navigation tasks에 초점을 맞춥니다. 이러한 선택은 조작과 같은 도메인을 배제하긴 하지만, 우리의 비교 분석을 위한 통제되면서도 까다로운 테스트베드를 제공합니다.
우리의 기여점은 다음과 같이 요약할 수 있습니다:
- 데이터 생성 과정을 세밀하게 제어할 수 있는 두 개의 새로운 navigation environments를 제안하고, 다양한 품질의 총 23개의 datasets를 생성합니다.
- reinforcement learning 및 optimal control 패러다임 모두에서 도출하여, offline, reward-free trajectories로부터 학습하는 methods를 평가합니다. 우리의 분석은 random policy trajectories로부터 학습하고, 짧은 sequences들을 함께 연결(stitch)하고, 제한된 데이터에서 효과적으로 train하며, 목표 도달을 넘어 본 적 없는 environment 레이아웃 및 tasks로 generalize하는 능력을 체계적으로 평가합니다.
- latent dynamics model을 학습하고 이를 planning에 사용하는 것이 suboptimal data 품질에 강건하며, environment 변동성에 대해 가장 높은 수준의 generalization을 달성함을 입증합니다.
- 실무자가 사용 가능한 데이터 및 generalization 요구 사항에 따라 methods 중에서 선택할 수 있도록 돕는 가이드라인 목록을 제시합니다.
rewards가 없는 offline trajectories로부터 학습하는 methods에 대한 추가 연구를 촉진하기 위해, 코드, 데이터, environment 시각화 등을 latent-planning.github.io 에 공개합니다.
1 Introduction 핵심 정리 노트
연구 배경 및 문제 정의
- 핵심 목표: Online interaction이나 Expert demonstrations 없이, 보상(Reward)이 없는 대규모의 Suboptimal offline trajectories만을 활용하여 Unseen tasks 및 environments에 Generalization 할 수 있는 시스템 구축.
- 기존의 한계:
- Online RL: 막대한 양의 environment interactions 필요.
- Offline RL: 주로 단일 task에 과적합되며, 기존 연구들은 대부분 Expert 또는 Exploratory policies에서 수집된 고품질 데이터에 집중됨.
- Reward-free offline learning 환경에서 데이터의 품질(Quality)과 양(Quantity)이 학습 성능에 미치는 구체적인 영향에 대한 체계적인 분석이 부재함.
연구 방법론
- 비교 패러다임: Model-free Reinforcement Learning vs. Model-based Optimal Control (Latent dynamics model 활용).
- 테스트베드 (Navigation Tasks): Spatial reasoning, Generalization, Trajectory stitching 능력을 명확히 통제하고 평가하기 위해 채택.
- 데이터 세팅: 데이터 생성 과정을 정밀하게 제어할 수 있는 2개의 새로운 Navigation environments를 구축하고, 품질이 각기 다른 23개의 Datasets 생성.
주요 기여 및 핵심 발견 (Key Findings)
- 비교 평가 수행: Random policy 데이터 학습, 짧은 Sequence의 Trajectory stitching, 제한된 데이터 환경에서의 학습, Unseen environment 및 새로운 Task로의 Generalization 능력 체계적 평가.
- 최적의 방법론 입증: Latent dynamics model을 학습하고 이를 Planning에 사용하는 방식이 Suboptimal 데이터 환경에서 가장 강건하며, Environment 변동성에 대해 압도적으로 높은 Generalization 성능을 달성함을 증명.
- 가이드라인 제시: 실무자들이 가용 데이터의 상태와 요구되는 Generalization 수준에 따라 최적의 방법론을 선택할 수 있도록 구체적인 가이드라인 제공.
쉬운 설명 :
이 논문의 서론을 아주 쉽게 비유하자면 "정답지(보상)도 없고, 전문가가 달린 것도 아닌 어설픈 주행 기록(Suboptimal reward-free trajectories)만 잔뜩 주어졌을 때, AI가 처음 보는 낯선 동네에서 길을 잘 찾게 하려면 어떤 학습 방식이 제일 좋을까?"를 실험한 내용입니다.
연구진은 AI를 학습시키는 두 가지 대표적인 방법을 맞붙여 보았습니다.
- 강화학습(RL) 방식: 주어진 주행 기록들을 이리저리 짜맞추고 반사 신경처럼 행동을 학습하는 방식.
- 최적 제어(Optimal Control) 방식: 주행 기록을 보고 '아, 이 동네는 이렇게 생겼고 차는 이렇게 움직이는구나' 하고 머릿속에 지도를 먼저 그린(Dynamics model 학습) 다음, 목적지까지의 경로를 계획(Planning)하는 방식.
과거에는 좋은 데이터만 주로 연구했는데, 현실에서는 질 나쁜 데이터가 훨씬 많습니다. 그래서 연구진이 일부러 질이 안 좋고 엉망인 길찾기 데이터를 잔뜩 만들어서 두 방식에게 던져주고 테스트를 해보았습니다.
그 결과, 엉성한 데이터만 보고도 세상의 법칙(지도)을 먼저 파악한 뒤 계획을 세우는 두 번째 방식(Latent dynamics model 기반 Planning)이 압도적으로 똑똑했다는 것을 밝혀냈습니다. 이 방식은 데이터 상태가 안 좋아도 잘 버티고, 심지어 훈련할 때 한 번도 본 적 없는 새로운 형태의 미로에 던져놔도 유연하게 길을 찾아냈다는 것이 이 섹션의 핵심 포인트입니다.
그림의 4단계 흐름:
- 훈련 데이터(왼쪽): 동네 아마추어들의 뒤죽박죽 경기 영상처럼 파편화되고 질이 떨어지는 데이터 23개 묶음입니다.
- 테스트(가운데): 6가지 AI 훈련법을 가져와서 평가합니다. "처음 뛰어보는 원정 구장(새로운 레이아웃)에서도 잘하는가?", "안 해본 포지션(새로운 태스크)도 소화하는가?" 등을 봅니다.
- 성적표(가운데 표): 다른 AI들(HILP, GCIQL 등)은 낯선 구장이나 새로운 전술에서 헤매며 탈락(X표)했지만, PLDM이라는 모델만 모든 평가를 통과(초록색 체크)했습니다.
- 우등생의 비결(오른쪽 박스): 1등을 한 PLDM의 머릿속(학습 구조)입니다. 단순히 동작을 외운 게 아니라, 현재 상황($s_t$)에서 어떤 행동($a_t$)을 하면 다음 상황($s_{t+1}$)이 어떻게 흘러갈지 '경기장의 물리법칙' 자체를 이해하면서 학습한다는 뜻입니다.
2 Related Work
Reward-free offline RL은 task-agnostic 방식으로 rewards가 포함되지 않은 offline data로부터 학습하는 것을 의미합니다. 목표는 offline data에서 일반적인 행동을 추출하여 다양한 downstream tasks를 해결하는 것입니다. 한 가지 접근 방식은 Hindsight Experience Replay와 유사한 방식으로 goals를 샘플링하는 goal-conditioned RL을 사용합니다. Park 등은 이것이 IQL을 사용하여 goal-conditioned policy를 학습할 뿐만 아니라 hierarchical value function을 학습하는 데에도 적용될 수 있음을 보여줍니다. Hatch 등은 해결된 task에 해당하는 소규모의 observations 세트를 사용하여 task를 정의하고 reward-free data로부터 학습할 것을 제안합니다. Hu 등과 Yu 등은 labeled data를 사용하여 reward function을 train한 다음, reward-free trajectories에 레이블을 지정하는 것을 제안합니다. Zero-shot methods는 offline data에서의 goal-reaching을 넘어서 test time에 지정된 임의의 tasks를 해결하는 것을 목표로 합니다. HILP는 Laplacian representations와 유사하게, 공간 내 거리가 두 states 사이의 steps 수에 비례하도록 distance-preserving representation space를 학습하는 것을 제안합니다. ForwardBackward representations는 successor-features와 유사한 접근 방식으로 이 문제를 해결합니다.
Optimal Control은 RL과 유사하게 주어진 목표(RL의 경우 reward, 제어의 경우 비용)를 최적화하기 위해 environment에서 actions를 선택하는 문제를 다룹니다. 고전적인 optimal control methods는 일반적으로 environment의 transition dynamics가 알려져 있다고 가정합니다. 이 패러다임은 항공기, 로켓, 미사일 및 휴머노이드 로봇을 제어하는 데 사용되었습니다. transition dynamics를 정확하게 정의할 수 없는 경우, 종종 학습(learned)될 수 있습니다. 많은 RL methods는 unknown dynamics 상황에서 dynamic programming을 근사화합니다. 본 연구에서는 암묵적으로든 명시적으로든 rewards 정보를 사용하여 policy function을 train하는 methods를 지칭하기 위해 RL이라는 용어를 사용하고, dynamics model을 사용하여 목표를 최적화하는 actions를 명시적으로 탐색하는 methods에 대해 optimal control이라는 용어를 사용합니다.
offline data의 중요성은 ExORL과 같은 연구에서 강조되었는데, 이 연구는 exploratory RL data가 off-policy algorithms이 offline RL에서 우수한 성능을 발휘할 수 있게 함을 입증합니다. 하지만 이 연구는 exploratory 데이터 대 task-specific 데이터만 비교할 뿐, 어떤 데이터 측면이 성능에 영향을 미치는지 분석하지 않습니다. Buckman 등은 rewards가 있는 offline RL에 대한 데이터의 중요성을 조사합니다. 최근 제안된 OGBench는 다양한 goal-conditioned tasks를 위한 여러 offline datasets를 소개합니다. 이와 대조적으로, 우리는 suboptimal data 조건 하에서 top-down navigation에서 methods가 어떻게 수행되고 새로운 tasks와 layouts으로 generalize되는지에 대한 더 세밀한 분석을 수행합니다. Yang 등도 offline GCRL의 generalization을 연구하지만, out-of-distribution goals에 도달하는 데 초점을 맞춥니다. Ghugare 등은 stitching generalization을 연구합니다.
2 Related Work 핵심 정리 노트
Reward-free Offline RL의 주요 흐름
- Goal-conditioned RL: Hindsight Experience Replay 방식을 차용하여 IQL 등에 적용하거나, 해결된 Task의 일부 Observation을 활용해 Reward 없이 학습하는 방식. Learned reward function으로 Trajectory에 레이블을 다는 연구들도 존재함.
- Zero-shot Methods: Test time에 주어지는 임의의 Task를 해결하기 위한 접근법. HILP(상태 간 거리를 보존하는 Representation space 학습) 및 ForwardBackward representations(Successor-features 기반)가 대표적.
RL vs Optimal Control: 본 논문의 용어 정의
- RL(강화학습): 암묵적 또는 명시적으로 Reward 정보를 활용하여 Policy function을 학습하는 방법론으로 통칭.
- Optimal Control(최적 제어): Environment의 Transition dynamics(알려져 있거나 학습된 형태)를 활용하여, 주어진 Objective를 최적화하는 Action을 명시적으로 탐색(Planning)하는 방법론으로 엄격히 구분함.
기존 데이터 중심 연구의 한계 및 본 연구의 차별점 (Core)
- 기존 연구의 한계: ExORL은 Exploratory data의 중요성을 입증했으나 데이터의 어떤 특정 요소가 성능에 영향을 미치는지 세밀한 분석이 부재함. OGBench 등은 벤치마크 데이터셋 제안에 그침.
- 본 연구의 독창성(Novelty): 단순히 데이터의 유무나 종류를 비교하는 것을 넘어, Suboptimal data 조건 하에서 Top-down navigation Task를 수행할 때 각 방법론이 1) 새로운 Task와 2) 새로운 Layout으로 어떻게 Generalization 되는지 매우 세밀하게(Fine-grained) 분석함. (OOD Goal이나 Stitching에만 집중한 기존 연구들과 명확히 구분됨).
쉬운 설명 :
이 섹션은 "다른 똑똑한 사람들은 이 문제를 어떻게 풀고 있었고, 우리는 그들과 무엇이 다른가?"를 설명하는 부분입니다.
학계에서는 이미 '보상(정답) 없는 데이터'로 AI를 가르치기 위해 두 가지 큰 줄기로 연구를 해왔습니다. 하나는 강화학습(RL)을 써서 "도착점만 던져주고 알아서 가보게 하기(Goal-conditioned)"나 "처음 보는 임무도 바로 풀어버리기(Zero-shot)"이고, 다른 하나는 최적 제어(Optimal Control)를 써서 "세상의 물리법칙(Dynamics)을 먼저 이해하고 행동을 계획하기"입니다.
또한, 데이터가 중요하다는 걸 아는 다른 연구자들도 "좋은 탐색 데이터가 최고야!"(ExORL)라거나 새로운 평가 문제집(OGBench)을 내놓기도 했습니다.
하지만 이 논문이 진짜 하고 싶은 말은 이것입니다: "다른 사람들도 데이터랑 모델 연구를 많이 하긴 했어. 그런데 질이 떨어지는 엉망진창 데이터(Suboptimal data)만 주어졌을 때, 어떤 방식이 완전히 처음 보는 미로(새로운 Layout)나 새로운 임무(새로운 Task)에서 살아남는지 이렇게까지 현미경으로 들여다보듯 쪼개서 낱낱이 비교 분석한 건 우리가 처음이야!"
3 The Landscape of Available Methods
이 섹션에서는 reward annotations가 없는 state-action sequences로부터 학습하는 setting을 공식적으로 소개하고 사용 가능한 접근 방식들을 개괄합니다. 또한 Planning with a Latent Dynamics Model(PLDM)이라고 부르는 method를 소개합니다.
3.1 Problem Setting
우리는 Markov decision process (MDP) $M=(S,A,\mu,p,r)$를 고려합니다. 여기서 $S$는 state space, $A$는 action space, $\mu \in P(S)$는 initial state distribution을 나타내고, $p \in S \times A \rightarrow S$는 transition dynamics를 나타내며 (우리는 deterministic한 경우만 고려합니다), $r \in S \rightarrow R$은 reward function을 나타냅니다.
우리는 transitions $(s_0,a_0,s_1,\dots,a_{T-1},s_T)$로 구성된 state-action sequences의 dataset $D$에 접근할 수 있는 offline setting에서 작업합니다.
우리의 setting에서 offline dataset에는 어떠한 reward 정보도 포함되어 있지 않다는 점을 다시 한번 강조합니다. 목표는 $D$가 주어졌을 때, cumulative reward $r_z$를 최대화하기 위해 policy $\pi \in S \times Z \rightarrow A$를 찾는 것입니다. 여기서 $Z$는 가능한 task 정의들의 space입니다.
우리의 목표는 offline dataset $D$를 최대한 활용하여 agent가 잠재적으로 다른 레이아웃을 가진 주어진 environment에서 다양한 tasks를 해결할 수 있도록 하는 것입니다. 평가 중에는 특별히 명시되지 않는 한 agent에게 goal state $s_g$에 도달하는 task가 주어지므로, reward는 $r_g(s)=I[s=s_g]$로 정의되며 $Z$는 $S$와 동일합니다.
3.2 Reward-free Offline Reinforcement Learning
본 연구에서는 reward annotations 없이 순수하게 offline trajectories로부터 tasks를 해결하는 methods를 연구합니다. Reward-free offline RL methods는 두 가지 범주로 나뉩니다: goal-conditioned RL 및 task를 latent variable로 취급하는 zero-shot methods입니다. 우리는 두 범주의 state-of-the-art methods를 goal-reaching에서 평가하고, zero-shot methods가 새로운 tasks로 transfer하는 능력을 테스트합니다.
우리가 조사한 methods는 다음과 같습니다:
- GCIQL: offline RL을 위한 강력하고 널리 사용되는 method인 Implicit Q-Learning의 goal-conditioned 버전.
- HIQL: subgoals를 생성하는 policy와 subgoals에 도달하는 policy 등 두 가지 policies를 train하는 hierarchical GCRL method. 특히, 두 policies 모두 동일한 value function을 사용함.
- HILP: 학습된 representation space에서의 거리가 두 states 사이의 steps 수에 비례하도록 offline data로부터 state representations를 학습하는 method. 그런 다음 latent space에서 지정된 방향을 따라 이동할 수 있도록 direction-conditioned policy를 학습함.
- CRL: contrastive learning을 사용하여 states와 도달 가능한 goals 간의 호환성을 학습함. goal-conditioned Q-function과 직접적으로 연결되는 것으로 입증된 learned representation은 그런 다음 goal-conditioned policy를 train하는 데 사용됨.
- GCBC: Goal-Conditioned Behavior Cloning - goal-reaching을 위한 가장 단순한 baseline.
3.3 Planning with a Latent Dynamics Model
Section 3.2의 methods는 model-free이며, environment dynamics를 명시적으로 model하는 것은 없습니다. 우리는 classical control에서처럼 알려진 dynamics를 가정하지 않으므로, image reconstruction objective를 사용하여 goal-reaching을 위한 model-based method를 제안하는 기존 연구와 유사하게 offline data로부터 dynamics model을 대신 학습할 수 있습니다.
우리는 reconstruction-free SSL objective와 JEPA architecture를 사용하여 latent dynamics를 학습하는 Planning with a Latent Dynamics Model(PLDM)이라는 model-based method를 제안합니다.
Test time에는 goals에 도달하기 위해 학습된 latent space에서 plan을 세웁니다. 우리는 reconstruction이 suboptimal features를 산출하는 반면, reconstruction-free representation learning은 control에 잘 작동한다는 발견에 동기를 부여받아 input observations를 reconstructing하는 대신 latents를 예측하는 SSL 접근 방식을 채택합니다. 부록 G는 이에 대한 경험적 증거를 제공합니다: DreamerV3와 같은 reconstruction-based methods로 train된 features는 test-time planning에서 저조한 성능을 보입니다.
agent trajectory sequence $(s_0,a_0,s_1,\dots,a_{T-1},s_T)$가 주어졌을 때, 우리는 PLDM world model을 다음과 같이 명시합니다:
$$ \text{Encoder}: \hat{z}0=z_0=h\theta(s_0) $$
$$ \text{Predictors}: \hat{z}^k_t=f^k_\theta(\hat{z}^k_{t-1},a_{t-1}), \forall k \in {1,\dots,K} $$
여기서 $\hat{z}^k_t$는 predictor $k$가 예측한 latent state이고 $z_t$는 step $t$에서의 encoder output입니다. $K>1$일 때, 우리는 test-time에 uncertainty regularization을 위해 predictors의 앙상블을 train합니다. training objective는 모든 timesteps에 걸쳐 합산된 predicted latents와 encoded latents 사이의 거리를 최소화하는 것을 포함합니다. target 및 predicted latents $Z,\hat{Z}^k \in \mathbb{R}^{H \times N \times D}$가 주어질 때 (여기서 $H \le T$는 model prediction horizon, $N$은 batch dimension, $D$는 feature dimension임), predictions와 encodings 사이의 similarity objective는 다음과 같습니다:
$$ L_{\text{sim}}=\sum_{k=1}^K\sum_{t=0}^H\frac{1}{N}\sum_{b=0}^N|\hat{Z}^k_{t,b}-Z_{t,b}|_2^2 $$
representation collapse를 방지하기 위해 우리는 VICReg에서 영감을 받은 objective와 inverse dynamics modeling을 사용합니다. PLDM의 다이어그램은 Figure 1에 나와 있습니다. 자세한 내용은 부록 D.1.1을 참조하십시오.
Goal-conditioned planning with PLDM. 본 연구에서는 지정된 goal states에 도달하는 task에 주로 초점을 맞춥니다. Section 3.2에 요약된 methods가 목표에 도달하기 위해 trained policies에 의존하는 반면, PLDM은 planning에 의존합니다. Test time에 현재 observation $s_0$, goal observation $s_g$, pretrained encoder $h_\theta$, predictor $f_\theta$, 그리고 planning horizon $H$가 주어졌을 때, 우리의 planning objective는 다음과 같습니다:
$$ \forall k \in {1,\dots,K}: \hat{z}^k_0=z^k_0=h_\theta(s_0), \hat{z}^k_t=f^k_\theta(\hat{z}^k_{t-1},a_{t-1}) $$
$$ C_{\text{goal}}(a,s_0,s_g)=\frac{1}{K}\sum_{k=1}^K\sum_{t=0}^H|h_\theta(s_g)-f^k_\theta(\hat{z}^k_t,a_t)| $$
$$ C_{\text{uncertainty}}(a,s_0,s_g)=\sum_{t=0}^H\gamma^t\sum_{j=1}^d\text{Var}({f^k_\theta(s^k_t,a_t)j}{k=1}^K) $$
$$ a^*=\arg\min_a{C_{\text{goal}}(a,s_0,s_g)+\beta C_{\text{uncertainty}}(a,s_0,s_g)} $$
$C_{\text{goal}}$은 goal-reaching objective이고 $C_{\text{uncertainty}}$는 model이 training distribution을 벗어나는 state-action transitions를 선택하는 것에 대해 페널티를 부여하며, $\gamma \in [0, 1]$는 temporal discount입니다. 이러한 regularization은 GCIQL, HIQL 및 HILP가 dataset과 관련하여 in-distribution을 유지하는 policies를 학습하기 위해 expectile regression을 사용하는 방식과 유사합니다. $C_{\text{uncertainty}}$에 대한 ablations는 부록 E를 참조하십시오.
Model Predictive Control 프레임워크를 따라, PLDM은 environment와의 $i$ interactions마다 다시 re-plan을 수행합니다. 기본적으로 모든 실험에서 $i=1$을 사용하므로, PLDM은 model-free baselines보다 $\sim4$배 더 느려집니다. 성능의 아주 작은 손실만으로 MPC를 가속화하기 위해 replanning interval $i$를 늘릴 수 있습니다 (부록 F 참조). 우리는 planning을 포함하는 모든 실험에서 MPPI를 사용합니다.
우리는 PLDM이 명시적으로든 암묵적으로든 rewards를 사용하지 않으며, optimal control method로 간주되어야 함을 유의합니다. 또한 새로운 task에 PLDM을 적용하기 위해 encoder $h_\theta$와 dynamics $f_\theta$를 다시 retrain할 필요 없이, 식 (5)의 cost만 변경하면 된다는 점에 주목합니다. 우리는 Section 4.6에서 이 유연성을 테스트하는데, 거기서 cost의 부호를 반전시켜 agent가 특정 state를 피하도록 만듭니다.
3 The Landscape of Available Methods 핵심 정리 노트
문제 정의 (Problem Setting)
- 환경: Reward 정보가 전혀 없는 Offline dataset $D$로 구성된 결정론적(Deterministic) MDP $M=(S,A,\mu,p,r)$.
- 목표: 주어진 $D$만을 활용하여, 잠재적으로 형태(Layout)가 다른 환경에서 다양한 Task $Z$(주로 특정 Goal state $s_g$ 도달)를 해결하는 Policy를 찾는 것.
비교 대상: Reward-free Offline RL (Model-free 기반)
- 기존 Model-free 방식들은 크게 Goal-conditioned RL과 Zero-shot Method로 나뉨.
- 주요 Baselines:
- GCIQL, HIQL: Implicit Q-Learning 기반 단일/계층적 Goal-reaching.
- HILP: State 간 거리에 비례하는 Representation space를 학습.
- CRL: State와 Goal 간의 호환성을 대조 학습(Contrastive learning).
- GCBC: 가장 단순한 행동 복제.
본 논문의 핵심 제안: PLDM (Planning with a Latent Dynamics Model)
- 접근 방식 (Model-based Optimal Control): Reward 없이 Offline data에서 Dynamics model을 학습하고, Test time에 MPPI를 활용하여 Planning을 수행.
- Reconstruction-free SSL (핵심 설계): Pixel 단위의 Image reconstruction(예: DreamerV3)은 Suboptimal feature를 생성하므로 배제함. 대신 JEPA 아키텍처를 도입하여 Latent state 자체를 예측하는 방식을 채택. Collapse 방지를 위해 VICReg 영감 Objective와 Inverse dynamics 모델링 적용.
- 불확실성 제어 (Uncertainty Regularization): $K$개의 Predictor 앙상블을 학습시킴. Test time의 Cost function은 단순히 목표 도달($C_{\text{goal}}$)뿐만 아니라, 예측 모델들 간의 분산(Variance)을 측정하여 Training distribution을 벗어나는 State-action transition에 페널티를 부여하는 $C_{\text{uncertainty}}$를 포함함 (기존 RL의 Expectile regression과 유사한 역할).
- 유연성 (Flexibility): Model-free 방식들과 달리, Task가 변경되어도 Encoder나 Dynamics model의 Retraining이 필요 없음. Test time에 식별된 Cost function의 부호나 조건만 수정하면 즉각적으로 새로운 Task(예: 특정 State 회피) 수행 가능.
쉬운 설명 :
이 섹션은 "보상이 없는 엉망진창 데이터로 길 찾기를 시키기 위해 기존에는 어떤 방법들을 썼고, 우리가 만든 새로운 무기(PLDM)는 어떻게 다른가?"를 설명합니다.
- 기존 방법들 (RL 기반): 주로 "여기로 가려면 이렇게 움직여라"라는 반사 신경이나 행동 지침서(Policy)를 미리 다 훈련시켜 놓는 방식입니다. 목적지가 바뀌면 훈련된 지침서 내에서 해결하려 합니다.
- 우리의 방법 (PLDM): '상상 속의 지도(Latent Dynamics Model)'를 그리는 방식입니다.
- 픽셀 집착 버리기: 사진(환경)의 모든 디테일을 완벽하게 복원(Reconstruction)하려고 낭비하지 않고, 제어에 꼭 필요한 핵심 특징(Latent)만 뽑아내서 다음 상황을 예측합니다.
- 모르는 길은 피하기 (Uncertainty 페널티): 훈련 데이터에서 한 번도 본 적 없는 이상한 길로 가려고 하면, 모델 내부에 있는 여러 명의 '예측가(앙상블)'들의 의견이 엇갈립니다. 의견이 엇갈리는(분산이 큰) 경로는 위험하다고 판단해 페널티를 줍니다.
- 목적지가 바뀌면? 계획만 수정: 제일 큰 장점입니다. 뇌(모델)를 다시 훈련시킬 필요가 없습니다. 머릿속에 세상이 어떻게 돌아가는지 물리법칙(Dynamics)을 이미 깨우쳤기 때문에, "저기로 가라"에서 "저기는 피해 가라"로 명령만 바꿔주면 그 자리에서 바로 새로운 계획(Planning)을 세워 실행할 수 있습니다.
모델 프리는 일반화가 어려우니까 모델을 쓰자
월드모델을 쓰지만, 레이턴트에서하자. 디코더 없이
근데 콜랩스 문제가 있으니까 그걸 해결하기 위해 vigreg 를 도입해서
임베딩 벡터의 차원간의 공분산이 0이 되도록 하고, 임베딩 벡터들의 분산이 특정 수치 이상이 되도록 loss 줌.