AI바라기의 인공지능

용어 설명GOP (Group of Pictures): 비디오 압축 코덱(예: H.264, HEVC)에서 비디오 스트림을 구성하는 프레임들의 기본 묶음 단위. 하나의 기준 키프레임(I-frame)과 이전/이후 프레임을 참조하여 압축된 프레임들(P/B-frame)로 구성됩니다.I-frame (Intra-coded frame): 다른 프레임의 참조 없이 독자적으로 완전한 이미지 정보를 담고 있는 압축 도메인의 키프레임(anchor point).P-frame / B-frame (Predictive / Bi-predictive frame): 전체 픽셀 데이터를 저장하지 않고, 이전(P) 또는 이전/이후(B) 참조 프레임 대비 변화된 움직임(Motion Vector)과 잔차(Residual)만을 기록하여 용량을 대..

용어 설명Superposition (중첩): 모델이 가진 차원(또는 뉴런)의 수 m보다 더 많은 수의 독립적인 feature n (n > m)을 거의 직교(almost-orthogonal)하는 방향으로 활성화 공간에 압축하여 표현하는 현상.Polysemanticity (다의성 / Polysemantic Neurons): 하나의 뉴런이 단일 개념이 아니라 서로 무관한 여러 개의 서로 다른 feature들에 반응하여 활성화되는 현상.Monosemanticity (단일의성 / Monosemantic Neurons): 하나의 뉴런이 특정 단일 feature(예: '곡선 감지', '강아지 코')에만 선택적으로 반응하는 현상.Privileged Basis (특권 기저): 활성화 공간에서 특정 기저 축(basis d..

용어 설명Causal Tracing (인과 추적): 딥러닝 모델의 특정 내부 activation(활성화 값)을 의도적으로 교체(activation patching)하여, 해당 component가 최종 output 확률에 미치는 직접적인 인과적 기여도를 정량화하는 mechanistic interpretability 기법입니다.FCCT (Fine-grained Cross-modal Causal Tracing): 입력 이미지에 Gaussian noise를 주입하여 손상시킨 뒤, clean 상태의 activation을 토큰 종류(7종) 및 component(MHSA, MLP, hidden state)별로 복원하며 causal effect를 측정하는 프레임워크입니다.Recovery Rate (RR, 복원율): c..

용어 설명 (Terminology)SeqDance: 진화 정보(pre-trained pLM 가중치) 없이 처음부터(from scratch) 분자 동역학(MD) 및 정규 모드 분석(NMA) 기반 biophysical dynamics 특성만을 학습한 sequence-based 단백질 언어 모델(pLM).ESMDance: 사전 학습된 ESM2-35M의 encoder 가중치를 완전히 동결(freeze)한 상태에서 biophysical dynamics 예측 head만을 학습시켜 진화적 정보와 동역학 정보를 결합한 모델.Structure Ensemble: 단백질이 하나의 고정된 3D 구조로 존재하는 것이 아니라 용액 내에서 지속적으로 요동치며 취하는 다양한 구조들의 집합(동역학적 앙상블).IDRs (Intrinsi..

용어 설명Stateful Experience (상태 기반 경험): 전체 trajectory(궤적) 단위가 아니라, 특정 의사결정 시점의 상태(state)와 수행된 행동(action), 그리고 이에 대한 전략적 가이드(guidance)를 결합한 최소 단위(s_t, a_t, g_t)의 경험.Trajectory-level Experience Retrieval (궤적 수준 경험 검색): 과거 에이전트가 문제를 해결하면서 밟아온 전체 실행 경로(모든 턴의 대화, 이미지, 도구 호출 기록 전체)를 한꺼번에 검색하여 프롬프트 컨텍스트에 주입하는 기존 방식.Hindsight Reasoning (사후 평가 추론): 이전 실행 trajectory를 atomic transition(s_t, a_t, s_{t+1}) 단위로 ..

A Mathematical Framework for Transformer Circuits이 글의 목적은 Transformer 내부에서 실제로 어떤 계산이 일어나는지를 회로(circuit) 단위로 분해해서 이해하는 것이다.거대한 LLM을 처음부터 해석하기보다는, MLP를 제거한 0~2 layer attention-only Transformer부터 분석한다. 구조를 단순화한 뒤 weight와 activation을 뜯어보면서, Transformer의 동작을 사람이 이해할 수 있는 작은 계산들의 조합으로 표현하려고 한다.1. Residual StreamTransformer를 볼 때 가장 중심이 되는 것은 residual stream이다.각 Attention Head나 MLP는 서로 직접 연결되어 있는 것이 아니..

용어 설명 (Terminology)Circuit Tracing (회로 추적): 모델 내부의 방대한 신경망 연결 중 특정 작업이나 추론(reasoning)을 직접적으로 수행하는 최소 단위의 인과적 서브그래프(subgraph)를 찾아내고 분석하는 mechanistic interpretability 기법입니다.Transcoder (트랜스코더): transformer의 MLP sublayer를 대체하도록 학습된 희소 오토인코더(SAE) 변형체입니다. 단순히 입력을 복원하는 일반 SAE와 달리, MLP의 입력을 받아 MLP의 출력을 근사 복원(input-to-output mapping)하여 선형적이고 해석 가능한 단일 의미(monosemantic) feature들로 분해합니다.Attribution Graph (어..

용어 설명 (Terminology)Verbalization Heads (언어화 헤드): 원래 OCR(광학 문자 인식) 과제를 수행할 때 활성화되는 것으로 식별되었으나, 텍스트가 없는 일반 이미지 패치/토큰에 대해서도 해당 시각 영역의 고차원 semantic features를 텍스트 토큰으로 직접 변환·출력할 수 있는 특성을 가진 VLM 내부의 generic attention heads.Verbalization Lens (언어화 렌즈): 식별된 상위 verbalization heads의 Output-Value(OV) projection 행렬들을 선형 결합(summation)하여 만든 단일 변환 행렬 Lp. 이를 임의의 layer의 hidden state에 곱한 뒤 vocabulary space로 바로 un..

용어 설명 (Terminology)Retrieval Heads: Large Language Models(LLMs)의 긴 문맥 속에서 정답과 직결된 특정 입력 토큰(needle token)을 탐색하여 출력으로 전달하는 데 인과적(causal)으로 기여하는 소수의 specialized attention heads.Visual Retrieval Heads (VRHs): Vision-Language Models(VLMs) 내부에서 텍스트 프롬프트가 지칭하는 이미지 내 특정 시각적 영역(ground-truth referent region)을 찾아내어 모델의 생성 출력단으로 라우팅하는 데 필수적인 핵심 attention heads. 전체 헤드의 약 1.7% ~ 2.6%에 불과한 희소(sparse) 집합입니다.Cau..

용어 설명DCT-II (Discrete Cosine Transform Type II): 시간 축의 변위(displacement) 궤적을 실수(real-valued) 주파수 성분으로 분해하는 변환 기법입니다. 신호의 경계면을 거울 대칭(mirrored symmetry)으로 연속 확장하므로, DFT(Discrete Fourier Transform) 특유의 주기성 가정으로 인한 양 끝단의 단절(wrap-around) 및 깁스 현상(Gibbs ringing)을 방지하여 비평형 상태(unfolding 등) 모델링에 유리합니다.Spectral Volume: 단백질 궤적을 시간 축으로 DCT 변환하여 얻은 3차원 텐서 (주파수 모드 수 K, 잔기 수 L, 3차원 좌표 채널 C) 형태의 표현체입니다.DC Compone..