AI바라기의 인공지능

용어 설명 (Terminology)Test-Time Scaling (Inference-Time Scaling): 모델 학습이 끝난 후, 추론(inference) 단계에서 추가적인 연산(compute)을 투입하여 결과물의 품질을 높이는 기법. Diffusion model에서는 노이즈를 반복적으로 최적화하거나 여러 번 샘플링하는 방식이 이에 해당함.Amortization (상각): 반복적으로 발생하는 비싼 비용(여기서는 Test-Time Compute)을 미리 한 번의 학습 과정(training)으로 흡수하여, 실제 사용할 때의 비용을 대폭 줄이는 것.Noise Hypernetwork: 이 논문에서 제안하는 핵심 모듈. 생성 모델(Generator) 자체를 수정하는 대신, 생성 모델에 들어갈 **초기 노이즈..

용어 설명 (Terminology)Discrete Diffusion Models (DDMs): 이미지 픽셀과 같은 연속적인(continuous) 데이터가 아니라, 텍스트 토큰이나 DNA 서열과 같이 이산적인(discrete) 구조를 가진 데이터를 생성하기 위한 Diffusion 모델.NFEs (Number of Function Evaluations): 샘플링 과정에서 모델(함수)을 호출하는 횟수. NFEs가 낮을수록 생성 속도가 빠름.Accumulated Error: DDMs에서 적은 스텝으로 샘플링할 때 발생하는 오류의 총합. 이는 독립적인 토큰 예측으로 인한 Compounding Decoding Error와 큰 step size로 인한 수치적 근사 오차인 Discretization Error가 합쳐진..

용어 설명 (Terminology)NCMemo (Node Classification Memorization): 이 논문에서 제안한 프레임워크로, Semi-supervised node classification 설정에서 특정 노드의 레이블이 모델에 의해 암기(memorization)되었는지를 정량화하는 방법. Feldman의 leave-one-out 방식을 그래프 데이터에 맞게 변형함.Graph Homophily (그래프 동질성): 연결된 노드끼리 비슷한 특성이나 레이블을 공유하는 성질. 반대는 Heterophily (이질성).Implicit Bias (암묵적 편향): 모델이 학습 과정에서 특정 유형의 해(solution)를 선호하는 경향. GNN은 그래프 구조(structure)를 활용하려는 강력한 im..