AI바라기의 인공지능

용어 설명 (Terminology)Coarse-graining (CG): 복잡한 원자 수준(all-atom)의 분자 구조에서 주요 입자(비드, bead)들만 남겨 자유도를 대폭 줄임으로써 계산 효율성을 높이는 축약 모델링 기법.Potential of Mean Force (PMF): 특정 coarse-grained 자유도 좌표계에서 fine-grained(원자 수준) 앙상블을 통계역학적으로 적분(평균)하여 유도되는 유효 자유 에너지 표면(Free Energy Surface, FES).Mean Force Matching (MFM): 본 논문에서 제안 및 분석한 목푯값 정렬 방식으로, CG 비드 좌표를 고정한 상태에서 원자 시뮬레이션을 수행해 얻은 '시간 평균 힘(mean force)'을 레이블로 사용하여 C..

용어 설명Test-time scaling: 모델의 파라미터 크기를 키우는 대신 추론(inference) 시점에 더 많은 token 생성, 경로 탐색, verification 등의 연산량(compute)을 투입하여 문제 해결 능력을 극대화하는 기법입니다.Overthinking: 고난도 문제를 위해 학습된 large reasoning model이 단순한 연산이나 기초 상식 질문(예: log2(64))을 마주했을 때도 불필요하게 reflection, planning, self-verification을 반복하며 수천 개의 token을 낭비하는 현상입니다.Reasoning budget: 모델이 최종 정답에 도달하기 전 reasoning 과정(chain-of-thought)에서 사용할 수 있는 token의 총량 또..

용어 설명VidLM (Video-Language Model): 비디오 프레임 시퀀스와 텍스트를 동시에 입력받아 비디오에 대한 질의응답, 요약, 추론을 수행하는 멀티모달 대형 언어 모델입니다.Grounding (시각적 접지): 모델이 생성하는 텍스트 응답이 실제 비디오의 시각적·시간적 증거에 직접적으로 기반하고 일치하도록 연결하는 능력입니다.Prior Override: 비디오 인코더에서 시각적 신호가 정상적으로 인코딩되었음에도 불구하고, 이후 LLM 레이어나 디코딩 단계에서 언어적 사전 지식(language priors)이나 사용자 주장에 의해 시각 신호가 덮어씌워져 무시되는 현상입니다.Encoding Failure: 비디오 인코더의 구조적 한계(패치 분할, 윈도우 어텐션 등)로 인해 시계열 정보나 전역적..

용어 설명 (Glossary)SVLM (Small Vision-Language Model): 본 논문에서 국소적 비디오 구간(segment)을 압축하는 경량 멀티모달 모델(본 연구에서는 Qwen3-VL-2B-Instruct 사용). 대규모 LLM에 앞서 텍스트 질의(query)와 비디오 프레임을 교차 참조하여 정보를 압축하는 역할을 수행합니다.Query-Aware Cross-Modal Distillation: 질의와 무관하게 비디오를 압축(query-agnostic)하는 대신, 입력된 사용자 질문(User Query)을 압축 과정에 직접 조건으로 주입하여 질문 해결에 필요한 핵심 시각적 단서만 선별적으로 추출·압축하는 과정입니다.ATA (Adaptive Token Allocation): 추론 단계에서 별..

용어 설명GOP (Group of Pictures): 비디오 압축 코덱(예: H.264, HEVC)에서 비디오 스트림을 구성하는 프레임들의 기본 묶음 단위. 하나의 기준 키프레임(I-frame)과 이전/이후 프레임을 참조하여 압축된 프레임들(P/B-frame)로 구성됩니다.I-frame (Intra-coded frame): 다른 프레임의 참조 없이 독자적으로 완전한 이미지 정보를 담고 있는 압축 도메인의 키프레임(anchor point).P-frame / B-frame (Predictive / Bi-predictive frame): 전체 픽셀 데이터를 저장하지 않고, 이전(P) 또는 이전/이후(B) 참조 프레임 대비 변화된 움직임(Motion Vector)과 잔차(Residual)만을 기록하여 용량을 대..

용어 설명Superposition (중첩): 모델이 가진 차원(또는 뉴런)의 수 m보다 더 많은 수의 독립적인 feature n (n > m)을 거의 직교(almost-orthogonal)하는 방향으로 활성화 공간에 압축하여 표현하는 현상.Polysemanticity (다의성 / Polysemantic Neurons): 하나의 뉴런이 단일 개념이 아니라 서로 무관한 여러 개의 서로 다른 feature들에 반응하여 활성화되는 현상.Monosemanticity (단일의성 / Monosemantic Neurons): 하나의 뉴런이 특정 단일 feature(예: '곡선 감지', '강아지 코')에만 선택적으로 반응하는 현상.Privileged Basis (특권 기저): 활성화 공간에서 특정 기저 축(basis d..

용어 설명Causal Tracing (인과 추적): 딥러닝 모델의 특정 내부 activation(활성화 값)을 의도적으로 교체(activation patching)하여, 해당 component가 최종 output 확률에 미치는 직접적인 인과적 기여도를 정량화하는 mechanistic interpretability 기법입니다.FCCT (Fine-grained Cross-modal Causal Tracing): 입력 이미지에 Gaussian noise를 주입하여 손상시킨 뒤, clean 상태의 activation을 토큰 종류(7종) 및 component(MHSA, MLP, hidden state)별로 복원하며 causal effect를 측정하는 프레임워크입니다.Recovery Rate (RR, 복원율): c..

용어 설명 (Terminology)SeqDance: 진화 정보(pre-trained pLM 가중치) 없이 처음부터(from scratch) 분자 동역학(MD) 및 정규 모드 분석(NMA) 기반 biophysical dynamics 특성만을 학습한 sequence-based 단백질 언어 모델(pLM).ESMDance: 사전 학습된 ESM2-35M의 encoder 가중치를 완전히 동결(freeze)한 상태에서 biophysical dynamics 예측 head만을 학습시켜 진화적 정보와 동역학 정보를 결합한 모델.Structure Ensemble: 단백질이 하나의 고정된 3D 구조로 존재하는 것이 아니라 용액 내에서 지속적으로 요동치며 취하는 다양한 구조들의 집합(동역학적 앙상블).IDRs (Intrinsi..

용어 설명Stateful Experience (상태 기반 경험): 전체 trajectory(궤적) 단위가 아니라, 특정 의사결정 시점의 상태(state)와 수행된 행동(action), 그리고 이에 대한 전략적 가이드(guidance)를 결합한 최소 단위(s_t, a_t, g_t)의 경험.Trajectory-level Experience Retrieval (궤적 수준 경험 검색): 과거 에이전트가 문제를 해결하면서 밟아온 전체 실행 경로(모든 턴의 대화, 이미지, 도구 호출 기록 전체)를 한꺼번에 검색하여 프롬프트 컨텍스트에 주입하는 기존 방식.Hindsight Reasoning (사후 평가 추론): 이전 실행 trajectory를 atomic transition(s_t, a_t, s_{t+1}) 단위로 ..

A Mathematical Framework for Transformer Circuits이 글의 목적은 Transformer 내부에서 실제로 어떤 계산이 일어나는지를 회로(circuit) 단위로 분해해서 이해하는 것이다.거대한 LLM을 처음부터 해석하기보다는, MLP를 제거한 0~2 layer attention-only Transformer부터 분석한다. 구조를 단순화한 뒤 weight와 activation을 뜯어보면서, Transformer의 동작을 사람이 이해할 수 있는 작은 계산들의 조합으로 표현하려고 한다.1. Residual StreamTransformer를 볼 때 가장 중심이 되는 것은 residual stream이다.각 Attention Head나 MLP는 서로 직접 연결되어 있는 것이 아니..