AI바라기의 인공지능

용어 설명 (Terminologies)Selective Underfitting (선택적 과소적합): 이 논문의 핵심 개념. Diffusion model이 데이터 공간 전체에서 empirical score를 과소적합(underfit)하는 것이 아니라, 학습 데이터가 존재하는 **Supervision Region에서는 과적합(overfit)**에 가깝게 학습하고, 데이터가 없는 Extrapolation Region에서는 과소적합한다는 이론.Supervision Region (지도 영역): 학습 데이터 주변의 매우 좁은 영역(thin shells). 학습 중에는 노이즈가 섞인 데이터가 이 영역 안에 위치하므로 모델이 직접적인 정답(score)을 학습할 수 있는 공간.Extrapolation Region (외삽..

Terminology이 논문을 깊이 있게 이해하기 위해 필요한 핵심 용어 정리입니다.RINS (Recursive INference Scaling): 저자들이 제안하는 새로운 방법론입니다. 모델 전체를 반복하는 것이 아니라, 모델을 두 부분(Block A와 Block B)으로 나누고, 앞부분인 Block A만 재귀적으로(recursively) 반복 수행한 후 그 출력을 Block B로 넘기는 구조입니다. (Signature: ArB)RAO (Repeat-All-Over): Mobile LLM 등 기존 연구에서 제안된 방식입니다. 모델 전체 구조를 입력에 대해 반복적으로 적용하는 방식입니다. 이 논문의 주요 비교 대상(baseline) 중 하나입니다.Signature & Degree: 저자들이 재귀적 아키텍..