AI바라기의 인공지능

InternVL3 학습 노트용어 설명MLLM (Multimodal Large Language Model): 텍스트뿐만 아니라 이미지, 비디오 등 다양한 modality 정보를 이해하고 생성할 수 있는 대규모 언어 모델.Native Multimodal Pre-training: 텍스트 데이터와 multimodal 데이터를 분리하지 않고, 초기 pre-training 단계부터 통합하여 함께 학습시키는 방식. 이 논문의 핵심 방법론.Post-hoc Training: 이미 pre-training된 text-only LLM을 기반으로, 별도의 단계를 통해 multimodal 능력을 추가(retrofit)하는 학습 방식. InternVL3가 극복하고자 하는 기존 방식.V2PE (Variable Visual Posit..

TTRL: Test-Time Reinforcement Learning 학습 노트용어 설명 (Terminology)TTRL (Test-Time Reinforcement Learning): 이 논문에서 제안하는 핵심 방법론. Ground-truth label 없이 test data만을 사용하여 test-time에 Reinforcement Learning(RL)으로 Large Language Model(LLM)을 training하는 프레임워크.TTS (Test-Time Scaling): Inference 시 계산 resource를 늘려 LLM 성능을 향상시키는 기법들의 총칭. 예: Self-consistency, Best-of-N.TTT (Test-Time Training): Inference 시 들어오는 t..