AI바라기의 인공지능
Diffusion : 논문 리뷰 : SELECTIVE UNDERFITTING IN DIFFUSION MODELS 본문
용어 설명 (Terminologies)
- Selective Underfitting (선택적 과소적합): 이 논문의 핵심 개념. Diffusion model이 데이터 공간 전체에서 empirical score를 과소적합(underfit)하는 것이 아니라, 학습 데이터가 존재하는 **Supervision Region에서는 과적합(overfit)**에 가깝게 학습하고, 데이터가 없는 Extrapolation Region에서는 과소적합한다는 이론.
- Supervision Region (지도 영역): 학습 데이터 주변의 매우 좁은 영역(thin shells). 학습 중에는 노이즈가 섞인 데이터가 이 영역 안에 위치하므로 모델이 직접적인 정답(score)을 학습할 수 있는 공간.
- Extrapolation Region (외삽 영역): Supervision Region을 벗어난 데이터 공간. 학습 데이터로부터 멀리 떨어진 영역으로, 추론(inference) 시 생성 과정의 대부분이 이 영역에서 이루어지지만, 학습 시에는 직접적인 지도가 주어지지 않음.
- Freedom of Extrapolation (외삽의 자유도): Supervision Region이 좁을수록 모델이 그 외의 영역(Extrapolation Region)에서 함수를 결정할 수 있는 자유가 커진다는 개념. 이 자유도가 높아야 일반화(generalization)가 잘 일어남.
- Perception-Aligned Training (PAT): 신경망의 구조나 학습 공간을 인간의 **지각(perception)**과 일치시키면, Extrapolation Region에서의 동작이 지각적으로 우수한 샘플 생성으로 이어진다는 가설.
- Empirical Score: 유한한 학습 데이터셋에 대해 정의된 이론적으로 완벽한 score function. 이를 완벽히 배우면 학습 데이터를 그대로 복제(memorization)하게 됨.
Purpose of the Paper
- 기존 관점의 한계 지적: 기존 연구들은 Diffusion model이 새로운 이미지를 생성할 수 있는 이유(일반화)를 Global Underfitting으로 설명했습니다. 즉, 신경망의 Inductive bias(귀납적 편향) 때문에 모델이 복잡한 Empirical score를 완벽히 학습하지 못하고 매끄럽게 근사(underfit)하기 때문이라고 보았습니다.
- 새로운 문제 정의: 하지만 저자들은 최신 대형 모델들이 학습 데이터를 거의 완벽히 외울 수 있는 용량을 가졌음에도 여전히 일반화가 잘 되는 현상, 그리고 CFG(Classifier-Free Guidance) 역설(학습 때는 조건부/비조건부 score가 거의 같지만 추론 때는 크게 달라지는 현상)을 기존 이론이 설명하지 못한다고 비판합니다.
- 연구 목적: 모델이 '어떻게(how)' 과소적합하는지가 아니라 '어디서(where)' 과소적합하는지를 공간적으로 분석하여, Diffusion model의 일반화와 생성 성능 원리를 규명하고자 합니다.
Key Contributions
- Selective Underfitting 프레임워크 제안:
- 데이터 공간을 Supervision Region과 Extrapolation Region으로 명확히 구분했습니다.
- 모델이 Supervision Region 내에서는 Empirical score를 거의 완벽히 학습(memorization 가능 수준)하지만, 추론 궤적(sampling trajectory)이 지나는 Extrapolation Region에서는 지도를 받지 않아 자연스럽게 과소적합(underfitting)이 발생함을 입증했습니다.
- CFG Paradox 해결:
- 학습 중에는 데이터 주변(Supervision Region)만 보므로 조건부/비조건부 모델의 score가 거의 동일하게 학습되지만, 추론 시 Extrapolation Region으로 나가면서 두 모델의 외삽(extrapolation) 방식 차이로 인해 score 차이가 발생한다는 원리를 규명했습니다.
- Generalization의 메커니즘 규명 (Freedom of Extrapolation):
- 일반화는 모델의 구조적 제약(Bias) 때문만이 아니라, Supervision Region이 전체 공간 대비 극히 좁기 때문에 생기는 **'외삽의 자유'**에서 기인함을 밝혔습니다.
- 실험적으로 Supervision Region을 인위적으로 넓히면 모델이 일반화 능력을 잃고 암기(memorization) 모드로 전환됨을 보였습니다.
- 생성 성능(Generative Performance) 분해 및 Scaling Law 제안:
- 생성 성능(FID)을 Supervision Loss와 Extrapolation Efficiency 두 가지 요소로 분해했습니다.
- 단순히 Loss를 줄이는 것보다, Extrapolation Efficiency를 높이는 Training recipe(예: REPA, Transformer 구조)가 성능 향상에 핵심임을 밝혔습니다.
Experimental Highlights
- CFG Paradox 검증:
- ImageNet 학습 시, 조건부 모델과 비조건부 모델의 score 차이(L2 norm)를 측정했습니다.
- 결과: 학습 데이터 근처(Supervision Region)에서는 차이가 거의 0에 수렴하지만, 실제 생성 과정(Inference)에서는 차이가 급격히 커짐을 보여주며, 학습과 추론 시 모델이 참조하는 정보가 다름을 시각적으로 증명했습니다.
- 추론 궤적 이탈 (Extrapolation during Inference):
- 거리 지표 r을 정의하여, 추론 시 노이즈 제거 과정에서 생성물이 학습 데이터의 껍질(shell)로부터 얼마나 벗어나는지 측정했습니다.
- 결과: 추론 시작 직후(t가 1에서 조금만 줄어들어도) 궤적이 즉시 Supervision Region을 벗어나 Extrapolation Region으로 진입함을 확인했습니다.
- Supervision Region 크기에 따른 일반화 실험:
- 학습 데이터의 Empirical score는 고정하되, 학습에 사용하는 노이즈 분포의 범위를 조절하여 Supervision Region의 크기만 변경했습니다.
- 결과: Supervision Region이 좁을 때는 일반화된 이미지가 생성되었으나, 영역을 인위적으로 넓히자 **학습 데이터를 그대로 복제(memorization)**하는 현상이 발생했습니다. 이는 Freedom of Extrapolation 가설을 강력하게 뒷받침합니다.
- REPA(Representation Alignment) 효과 분석:
- SiT 모델에 REPA를 적용했을 때 Supervision Loss는 거의 변하지 않았으나, Extrapolation 영역에서의 score 변화가 컸고 FID가 대폭 개선되었습니다.
- 의의: 성능 향상이 학습 데이터를 더 잘 맞춰서가 아니라, Extrapolation 동작을 개선했기 때문임을 정량적으로 보여주었습니다.
Limitations and Future Work
- Extrapolation 메커니즘의 이론적 부재:
- Extrapolation Region에서 score가 구체적으로 어떤 형태로 형성되는지, 왜 특정 구조가 더 좋은 Extrapolation을 유도하는지에 대한 수학적/이론적 증명은 아직 부족합니다.
- Future Work: 신경망의 구조적 특성이 빈 공간(Extrapolation Region)에서의 함수 모양을 어떻게 결정짓는지에 대한 심층적인 이론 연구가 필요합니다.
- 최적의 Training Recipe 미제안:
- 분석 프레임워크를 제안했으나, 이를 바탕으로 Supervision과 Extrapolation의 균형을 자동으로 맞춰주는 구체적인 새로운 알고리즘을 제안하지는 않았습니다.
- Future Work: 본 연구의 분해 분석법(Decomposed Analysis)을 활용하여 최적의 효율을 갖는 새로운 학습 알고리즘 개발이 가능할 것입니다.
Overall Summary
이 논문은 Diffusion model이 학습 데이터를 단순히 '덜 학습(global underfitting)'해서 새로운 이미지를 만든다는 기존 통념을 뒤집고, **학습 데이터 근처는 완벽히 배우되(Supervision) 데이터가 없는 영역에서는 자유롭게 추론(Extrapolation)하는 '선택적 과소적합(Selective Underfitting)'**이 일반화의 핵심임을 규명했습니다. 저자들은 데이터 공간을 두 영역으로 나누어 분석함으로써 CFG 역설을 해결하고, 모델의 생성 성능이 Extrapolation Efficiency에 크게 의존함을 밝혀냈습니다. 이는 향후 더 효율적인 Diffusion model 아키텍처와 학습 방법론(예: PAT)을 설계하는 데 있어 중요한 이론적 토대와 방향성을 제시하는 연구입니다.
쉬운 설명 (Easy Explanation)
**"점 잇기 놀이"**를 상상해보세요.
- 기존 생각 (Global Underfitting): 우리가 가진 펜이 너무 두꺼워서(모델의 한계), 점들(학습 데이터)을 정확하게 찍지 못하고 대충 뭉뚱그려 연결하다 보니 우연히 예쁜 그림(새로운 이미지)이 나왔다고 생각했습니다.
- 이 논문의 발견 (Selective Underfitting): 사실 우리는 점들을 아주 정확하게 찍고 있습니다(Supervision Region). 하지만 진짜 마법은 점과 점 사이의 빈 공간에서 일어납니다. 점을 찍지 않는 빈 종이 위에서 펜을 어떻게 움직일지 아무도 가르쳐주지 않았는데(Extrapolation Region), 모델이 알아서 그 사이를 자연스럽게 연결하고 있다는 것입니다.
- 결론: 점을 더 정확히 찍으려고 노력할 게 아니라(Loss 줄이기), **빈 공간에서 선을 긋는 요령(Extrapolation)**을 모델에게 가르쳐야(PAT, 아키텍처 개선) 더 좋은 그림을 그릴 수 있다는 것입니다.
ABSTRACT
Diffusion models는 다양한 도메인에 걸쳐 generative modeling을 위한 주요 패러다임으로 부상했습니다. Training 동안, 이들은 score function을 학습하며, 이는 차례로 inference 시 samples를 생성하는 데 사용됩니다. 이들은 기본적이지만 아직 해결되지 않은 질문을 제기합니다: 이들은 실제로 어떤 score를 학습하는가?
원칙적으로, 전체 data space에서 empirical score와 일치하는 diffusion model은 단순히 training data를 복제할 뿐이며, 새로운 samples를 생성하는 데 실패할 것입니다. 최근 연구는 diffusion models가 training-time inductive biases로 인해 empirical score를 underfit한다고 주장함으로써 이 문제를 다룹니다.
본 연구에서 우리는 이러한 관점을 개선하여 selective underfitting이라는 개념을 도입합니다. 즉, 모든 곳에서 score를 underfit하는 대신, 더 나은 diffusion models는 input space의 특정 영역에서는 score를 더 정확하게 approximate하는 반면, 다른 영역에서는 underfit한다는 것입니다. 우리는 이러한 영역들을 특성화하고 우리의 관점을 검증하기 위해 empirical interventions를 설계합니다. 우리의 결과는 selective underfitting이 diffusion models를 이해하는 데 필수적이라는 것을 확립하며, 이들의 generalization 및 generative performance에 대한 새롭고 테스트 가능한 통찰력을 제공합니다.
1 INTRODUCTION
Diffusion models는 최근 image, video 및 audio generation과 같은 작업에서 state-of-the-art 성능을 달성하며 고품질 samples를 생성하는 데 상당한 성공을 거두었습니다. Training 동안, 이들은 Gaussian noise로 손상된 데이터를 복원함으로써 score function(noise와 convolved된 data distribution의 log density의 gradient)을 학습하는데, 이 과정을 denoising score matching이라고 합니다. Inference 동안, 학습된 score는 Gaussian noise를 clean samples로 denoise하기 위해 반복적으로 적용됩니다.
이러한 성공에도 불구하고, 학습된 score는 명백한 역설을 제시합니다: 만약 training이 완벽하다면, model은 empirical score function(유한한 training data에 대한 score)을 학습하고 단순히 inference 시 training data를 복제할 뿐, 결코 새로운 samples를 생성하지 못할 것입니다. 최근 연구는 neural networks의 inductive bias 또는 smoothness로 인해 diffusion models가 empirical score를 underfit하게 되는 다양한 메커니즘을 제안함으로써 이 역설을 해결하고자 했습니다.
본 연구에서 우리는 diffusion models를 이해하기 위해서는 이들이 empirical score를 어떻게 underfit하는지 뿐만 아니라, 어디서 underfit하는지를 조사해야 한다고 주장합니다. 우리의 출발점은 training samples의 distribution과 inference trajectories 동안 마주치는 inputs의 distribution 간의 불일치입니다. Figure 1을 고려해보십시오: training 동안, 대부분의 timesteps에서 samples는 각 data point 주위의 얇은 shells(blue shells)에 집중됩니다. 이 shells 내부에서, 학습된 score는 단순히 shells의 중심, 즉 training images(green arrows)를 다시 가리킵니다. 대조적으로, 우리는 inference 동안 denoising trajectories가 이 shells 너머의 영역(red points)에 빠르게 도달한다는 것을 발견했으며, 이곳은 training time에 empirical score로 효과적으로 supervision 받지 않은 곳입니다.
이 관찰은 우리로 하여금 data space에서 두 개의 서로 다른 영역을 구별하게 합니다: training 동안 model이 empirical score를 approximate하도록 supervision 받는 supervision region과, model이 supervision을 받지 않지만 inference 시 쿼리되는 extrapolation region입니다. 우리의 scaling experiments는 models가 개선됨에 따라, supervision region 내부에서의 empirical score에 대한 approximation은 향상되는 반면, 외부에서는 악화됨(underfitting)을 보여줍니다. 다시 말해, underfitting은 supervision region에서는 발생하지 않습니다. 우리는 이 특성을 selective underfitting이라 명명하며, 이것이 diffusion models를 이해하는 데 필수적임을 입증합니다.
우리는 selective underfitting을 활용하여 diffusion models에 대한 새로운 빛을 비추는 일련의 통제된 실험을 설계합니다. (1) generalization: supervision region의 크기가 model의 generalization 능력에 강력한 영향을 미친다는 것을 보여주며(이 영역을 확장하면 generalization이 저하됨), 이는 이전 연구들에서 간과된 효과입니다. (2) generative performance: 여기서 generative performance와 supervision loss 사이의 새로운 scaling law는 model이 supervised score를 extrapolation region으로 전송하는 능력을 직접 정량화할 수 있게 해줍니다. 이 프레임워크는 REPA 및 diffusion transformers와 같은 최근 발전의 이점을 명확히 할 뿐만 아니라, 더 나은 training recipes를 설계하기 위한 일반적인 원칙을 제안합니다. 종합하면, 우리의 결과는 selective underfitting을 diffusion models를 이해하기 위한 핵심 원칙으로 확립합니다.
Contribution. (1) 우리는 data space의 이론적으로 근거한 두 영역에 걸쳐 diffusion models에서의 selective underfitting을 입증하며, 이전의 지나치게 단순화된 관점을 개선하는 empirical validation을 제시합니다. Selective underfitting을 활용하여: (2) 우리는 이전 이론들과 달리 architectural inductive biases에 구애받지 않고, diffusion models가 training data를 넘어 samples를 생성하는 메커니즘을 발전시킵니다. (3) 우리는 diffusion models를 위한 training recipes의 효율성을 정량화하기 위해 새로운 scaling law를 제안하며, 최근의 획기적인 접근법들이 왜 작동하는지 명확히 하고 효율적인 recipes를 설계하기 위한 통합된 관점을 제공합니다.
1. INTRODUCTION 정리노트 (For AI Researchers)
1. Motivation: The Paradox of Diffusion Models
- Existing Paradigm: Diffusion models는 denoising score matching을 통해 score function을 학습.
- The Paradox: 이론적으로 Training이 완벽하다면 model은 empirical score(finite training data에 대한 score)를 완벽히 학습해야 함. 이 경우 inference 시 training data를 단순히 복제(replicate)할 뿐, novel samples를 생성할 수 없어야 함.
- Previous Approaches: 이 역설을 해결하기 위해 기존 연구들은 neural networks의 inductive bias나 smoothness로 인해 model이 empirical score를 전반적으로 underfit한다고 주장했음.
2. Key Insight: Selective Underfitting
- Refined Perspective: 단순한 underfitting이 아니라 "어디서(Where)" underfit하는지가 핵심.
- Mismatch of Distributions:
- Training: Samples는 data point 주변의 얇은 shells(blue shells)에 집중됨. 여기서 learned score는 training images를 가리킴.
- Inference: Denoising trajectories는 이 shells를 벗어난 영역(red points)을 통과함.
- Two Distinct Regions:
- Supervision Region: Training 중 empirical score로 supervision을 받는 영역.
- Extrapolation Region: Supervision이 없으나 Inference 시 거쳐가는 영역.
- Core Finding: Model 성능이 좋아질수록(Scaling), Supervision Region 내에서는 empirical score approximation이 향상되지만, Extrapolation Region에서는 오히려 **악화(Underfitting)**됨. 즉, Selective Underfitting이 발생함.
3. Contributions & Implications
- Generalization Mechanism: Supervision region의 크기가 generalization에 결정적 영향을 미침. 이 영역을 확장하면 오히려 generalization 성능이 저하됨 (기존 연구에서 간과된 점).
- Novel Scaling Law: Generative performance와 supervision loss 사이의 새로운 scaling law 제안. Supervised score를 Extrapolation region으로 transfer하는 능력을 정량화 가능.
- Impact: REPA나 Diffusion Transformers와 같은 최신 방법론들의 성공 요인을 이 프레임워크로 설명 가능하며, 효율적인 training recipes 설계를 위한 원칙을 제공함.
쉬운 설명 : Selective Underfitting이란?
기존의 오해 : "AI가 멍청해서 창의적이다?" 옛날에는 Diffusion models가 훈련 데이터(사진 등)를 똑같이 베끼지 않고 새로운 이미지를 만들어내는 이유가, 단순히 AI 모델의 성능이 부족하거나 구조적인 한계 때문에 훈련 데이터를 완벽하게 외우지 못해서(Underfitting)라고 생각했습니다. 즉, "적당히 못 외워서 대충 비슷하게 그리다 보니 새로운 게 나온다"는 식이었습니다.
이 논문의 발견 : "아는 건 확실히 알고, 모르는 곳에서만 창의적이다!" 이 논문은 그게 아니라고 말합니다. AI가 공부를 더 잘하게 될수록(모델이 커질수록) 두 가지 현상이 동시에 일어납니다.
- 공부한 범위(Supervision Region) 안에서는: 훈련 데이터를 기가 막히게 완벽하게 외웁니다. (Underfitting이 발생하지 않음)
- 공부하지 않은 범위(Extrapolation Region) 에서는: 오히려 훈련 데이터의 정답과는 더 멀어집니다. (여기서 Selective Underfitting 발생)
핵심 비유 이미지를 생성하는 과정을 '길 찾기'라고 해봅시다.
- 훈련 데이터 근처(집 앞): AI는 집(정답 데이터)으로 가는 길을 완벽하게 알고 있습니다.
- 훈련 데이터가 없는 낯선 곳(허허벌판): AI가 그림을 그리기 시작하는 처음 단계는 데이터가 없는 허허벌판입니다. 여기서 AI는 훈련 데이터가 어디 있는지 정확히 모릅니다. 오히려 이 '모르는 영역'에서의 불확실함 덕분에, AI는 훈련 데이터랑 똑같은 곳으로 가지 않고, **비슷하지만 새로운 목적지(새로운 이미지)**로 도착하게 됩니다.
결론 즉, **"Selective Underfitting"**은 AI가 훈련 데이터가 있는 곳은 확실히 알지만(Supervision), 그 외의 영역(Extrapolation)에서는 훈련 데이터에 얽매이지 않기 때문에 새로운 것을 만들어낼 수 있다는 이론입니다.