AI바라기의 인공지능

PoE-World: Compositional World Modeling with Products of Programmatic Experts 논문 학습 노트Terminology (용어 설명)World Model: Agent가 환경(environment)이 어떻게 작동하는지(행동에 따라 상태가 어떻게 변하는지)를 학습한 내부 모델. 이를 통해 실제 환경에서 시행착오를 겪지 않고 시뮬레이션을 통해 계획(planning)을 세울 수 있음.Product of Experts (PoE): 여러 개의 단순한 확률 모델(experts)들을 곱하여 하나의 복잡한 고차원 확률 분포를 모델링하는 기법. 각 expert는 자신이 아는 특정 규칙에 대해서만 의견을 제시하고, 이를 종합하여 최종 예측을 수행함.Programmati..

Term Explanations (용어 설명)Score Stability: 이 논문에서 제안하는 핵심 개념입니다. 학습 데이터셋에서 데이터 포인트 하나가 변경되었을 때, 알고리즘이 학습한 Score Function이 얼마나 민감하게 변화하는지를 측정하는 지표입니다. 값이 작을수록 알고리즘이 안정적(stable)이며 일반화(generalization) 성능이 좋음을 의미합니다.Implicit Regularisation: 모델의 목적 함수(objective function)에 명시적인 규제항(예: L2 regularization)을 추가하지 않았음에도, 알고리즘의 절차적 특성(예: 조기 종료, 큰 보폭의 학습 등)으로 인해 자연스럽게 과적합이 방지되는 현상입니다.Denoising Score Matching:..

용어 설명 (Terminology)Diffusion Models: 데이터에 노이즈를 서서히 주입했다가 다시 제거하는 과정을 학습하여 데이터를 생성하는 모델.Probability Flow ODE: Diffusion 과정을 결정론적(deterministic)인 미분 방정식으로 표현한 것. 랜덤성이 없으며, 노이즈와 데이터 사이의 궤적을 정의함.Score Function: 데이터 분포의 로그 밀도 함수의 기울기(gradient of log-density). 노이즈가 있는 데이터가 원래 데이터 쪽으로 가기 위해 어느 방향으로 이동해야 하는지를 나타냄.NFE (Number of Function Evaluations): 이미지를 한 장 생성할 때 Neural Network를 몇 번 실행(inference)했는지 나..