관리 메뉴
목록2026/03/02 (1)
AI바라기의 인공지능
LLM : 논문 리뷰 : Learning without training: The implicit dynamics of in-context learning
용어 설명 (Glossary)In-context learning (ICL): 모델의 weight 업데이트(훈련) 없이 prompt 내의 예시나 정보를 바탕으로 새로운 패턴을 학습하고 적응하는 large language models의 고유한 능력입니다.Contextual block: Self-attention layer와 일반적인 neural network(MLP)가 결합된 구조를 의미하며, transformer block의 핵심 특성을 일반화하여 정의한 본 논문의 고유 개념입니다.Implicit weight update: 실제 학습(training)을 통한 명시적인 weight 변경이 아닌, inference 과정에서 입력된 context가 마치 MLP layer의 weight를 수정한 것과 수학적으로 ..
논문리뷰
2026. 3. 2. 17:36