AI바라기의 인공지능

Key Terminology (용어 설명)Perception Encoder (PE): 이 논문에서 제안하는 image 및 video 이해를 위한 대규모 vision encoder family로, 기본 모델인 PE_core와 이를 downstream task에 맞게 정렬한 PE_lang, PE_spatial로 구성됨.Alignment Tuning: 네트워크의 intermediate layers에 숨겨져 있는 강력한 general features를 모델의 final output layer로 끌어올리기(lift) 위해 수행하는 후속 학습 기법.Global Tokens: Vision Transformer가 일정 스케일 이상 커질 때 특정 레이어(PE_core G 기준 Layer 33)부터 배경 패치 일부가 전역..

Terminology (용어 설명)AdaRETAKE: 본 논문에서 제안하는 training-free, plug-and-play 방식의 adaptive video redundancy reduction 방법론.Heavy-hitter (Heavy-hitter ratio): generation 과정에서 큰 영향력을 미치는 핵심 visual token. 특정 layer에서 prompt token들과의 누적 attention score가 해당 layer 최대 attention 값의 일정 비율(p = 0.01)을 초과하는 token으로 정의하며, 전체 video token 중 heavy-hitter가 차지하는 비율로 redundancy를 정량화함.Temporal-adaptive Allocation: 비디오를 일정한 ..

Terminology (용어 설명)VQOS (Video-Query-Options Similarity): User query만 단독으로 사용하여 video segment와의 similarity를 계산하는 대신, MLLM이 생성한 candidate options(또는 주어진 객관식 선지)를 query와 결합해 여러 개의 statement로 만든 후, video segment embedding과의 최대 cosine similarity를 구하는 이 논문만의 핵심 relevance 측정 방식.AFS (Adaptive Frame Sampling): Video segment별 VQOS 점수를 기반으로, 높은 similarity를 가진 segment에서는 더 많은 frame을 dense하게 추출하고 낮은 점수의 seg..

Eliciting Latent Predictions from Transformers with the Tuned Lens 핵심 정리 노트Terminology (용어 설명)Iterative Inference: Transformer의 각 layer가 처음부터 새로운 특징을 만드는 것이 아니라, 다음 token에 대한 잠재적 예측(latent prediction)을 점진적으로 업데이트(incremental update)하며 다듬어 나간다는 관점.Prediction Trajectory: 모델의 각 중간 layer에서 hidden state를 vocabulary 공간의 확률 분포로 디코딩했을 때 얻어지는 일련의 분포 시퀀스.Logit Lens: 중간 layer의 이후 residual update를 모두 0으로 가정..

short 버전 보고와야해요!. 저자는 기존에 Polysemanticity를 설명하던 Superposition 해석이 과장됐고, 실제로는 대부분 Neuron이 related concept으로 확장되는 Recursive Generalization으로 설명된다고 주장합니다.그래서 Neural Network는 생각보다 훨씬 정돈돼 있으며, SAE 같은 Decomposition 없이도 Neuron과 Circuit을 직접 분석하는 방식으로 상당 부분 해석할 수 있다고 봅니다.또 이런 이해는 누적될수록 더 쉬워져, Mechanistic Interpretability 자체가 예상보다 훨씬 tractable할 수 있다는 결론입니다. 자동차와 동물가장 유명한 polysemantic neuron은 InceptionV..

초기 Model Organisms에서 관찰된 Polysemanticity의 원인은 Superposition이 아니라, 대부분 수정 가능한 몇 가지 일반적인 문제들이었습니다. 이제 우리는 최대 수조 개의 Parameter를 가진 모델에서도 대부분의 Neuron을 이해할 수 있게 되었으며, Mechanistic Interpretability의 전망이 기존에 생각했던 것보다 훨씬 밝을 수 있다고 봅니다. 목차. Revisiting canonical evidence: 기존에 Polysemanticity와 Superposition의 대표적인 증거로 제시됐던 사례들을 재검토합니다.Exploring vision models: Vision Model의 크기가 커질수록 Neuron의 특성이 어떻게 달라지는지 분석합..

Paper Study Note: Locating and Editing Factual Associations in GPTTerminology (용어 설명)Causal Tracing (Causal Mediation Analysis): 모델 내부의 특정 hidden state activation이 최종 factual prediction에 미치는 인과적 영향(Indirect Effect)을 측정하기 위해, 정상 실행(clean run), 노이즈를 주입한 실행(corrupted run), 특정 state만 정상으로 복구한 실행(corrupted-with-restoration run)의 세 가지 경로를 비교하는 기법.Early Site & Late Site: Causal Tracing 결과에서 도출된 두 가지 핵심..

Model PM 6:18[Study Note] Attention is not Explanation1. 용어 설명 (Terminology)Faithful Explanation: model이 특정 prediction을 내린 실제 내부적인 이유(why)를 왜곡 없이 정확하게 반영하는 설명.Leave-One-Out (LOO / Feature Erasure): input에서 특정 token 하나를 제거(x_-t)했을 때 발생하는 model output의 변화량(TVD)을 측정하여 해당 feature의 중요도를 평가하는 방식.Counterfactual Attention Weights: 원래 model이 생성한 attention distribution(alpha)을 대체하기 위해 인위적으로 구성한 가상의 attent..

용어 설명 (Terminology)InfiniBench (Global Appearance Task): 20~40분 분량의 긴 TV 에피소드 video를 보고, 특정 named character의 의상(outfit)이 어떤 순서(sequence)로 바뀌었는지 5지선다(A-E) Multiple Choice Questions (MCQ) 형태로 맞추는 long-form video benchmark task.Name Substitution Sensitivity: video와 객관식 보기(options)는 그대로 둔 채, Question에 등장하는 캐릭터의 이름(name token)만 다른 주연 캐릭터로 바꿨을 때 model이 final output(선택한 알파벳)을 변경하는 비율. genuine character..

용어 설명 (Terminology)VELOCITI (Video et Language Compositionality through Time): 짧은 영화 클립에서 시간에 따른 agent, action, 그리고 이들 간의 association을 평가하기 위해 본 논문에서 제안한 video-language compositional reasoning benchmark.Video-Language Entailment (VLE): 주어진 video(premise)가 caption(hypothesis)의 내용을 논리적으로 수반(entail)하는지 여부를 'Yes' 또는 'No'의 binary classification으로 판별하는 task.ClassicVLE: Positive caption의 entailment sco..