AI바라기의 인공지능

용어 설명 (Terminology)Score-matching: Diffusion model 학습의 핵심 원리로, 데이터 분포의 로그 확률 밀도 함수의 기울기(gradient)인 'score'를 추정하도록 모델을 학습시키는 과정.Ideal Score Function: 무한한 데이터나 용량 제약이 없을 때 완벽하게 학습된 score 함수. 이론적으로 이는 학습 데이터를 단순히 memorization(암기)하여 재생성하는 결과만 낳음.Inductive Bias: 모델이 학습하지 않은 데이터에 대해 예측할 때 사용하는 가정이나 제약 조건. 이 논문에서는 Locality와 Equivariance가 핵심 bias임.Locality (지역성): CNN의 특성상, 특정 픽셀의 연산이 전체 이미지가 아닌 주변 이웃 픽셀..

📝 GMLM: Graph Masked Language Model 학습 노트이 논문(GMLM: Bridging Graph Neural Networks and Language Models for Heterophilic Node Classification)은 텍스트 정보가 풍부한 그래프(Text-Rich Graphs), 특히 이질적인(Heterophilic) 구조를 가진 그래프에서 **Graph Neural Networks (GNNs)**와 **Pre-trained Language Models (PLMs)**을 효율적이고 효과적으로 통합하는 프레임워크를 제안합니다.📚 주요 용어 정리 (Terminology)Heterophilic Graphs (이질적 그래프): 연결된 노드끼리 서로 다른 특징이나 라벨을 가..