AI바라기의 인공지능

short 버전 보고와야해요!. 저자는 기존에 Polysemanticity를 설명하던 Superposition 해석이 과장됐고, 실제로는 대부분 Neuron이 related concept으로 확장되는 Recursive Generalization으로 설명된다고 주장합니다.그래서 Neural Network는 생각보다 훨씬 정돈돼 있으며, SAE 같은 Decomposition 없이도 Neuron과 Circuit을 직접 분석하는 방식으로 상당 부분 해석할 수 있다고 봅니다.또 이런 이해는 누적될수록 더 쉬워져, Mechanistic Interpretability 자체가 예상보다 훨씬 tractable할 수 있다는 결론입니다. 자동차와 동물가장 유명한 polysemantic neuron은 InceptionV..

초기 Model Organisms에서 관찰된 Polysemanticity의 원인은 Superposition이 아니라, 대부분 수정 가능한 몇 가지 일반적인 문제들이었습니다. 이제 우리는 최대 수조 개의 Parameter를 가진 모델에서도 대부분의 Neuron을 이해할 수 있게 되었으며, Mechanistic Interpretability의 전망이 기존에 생각했던 것보다 훨씬 밝을 수 있다고 봅니다. 목차. Revisiting canonical evidence: 기존에 Polysemanticity와 Superposition의 대표적인 증거로 제시됐던 사례들을 재검토합니다.Exploring vision models: Vision Model의 크기가 커질수록 Neuron의 특성이 어떻게 달라지는지 분석합..

Paper Study Note: Locating and Editing Factual Associations in GPTTerminology (용어 설명)Causal Tracing (Causal Mediation Analysis): 모델 내부의 특정 hidden state activation이 최종 factual prediction에 미치는 인과적 영향(Indirect Effect)을 측정하기 위해, 정상 실행(clean run), 노이즈를 주입한 실행(corrupted run), 특정 state만 정상으로 복구한 실행(corrupted-with-restoration run)의 세 가지 경로를 비교하는 기법.Early Site & Late Site: Causal Tracing 결과에서 도출된 두 가지 핵심..

Model PM 6:18[Study Note] Attention is not Explanation1. 용어 설명 (Terminology)Faithful Explanation: model이 특정 prediction을 내린 실제 내부적인 이유(why)를 왜곡 없이 정확하게 반영하는 설명.Leave-One-Out (LOO / Feature Erasure): input에서 특정 token 하나를 제거(x_-t)했을 때 발생하는 model output의 변화량(TVD)을 측정하여 해당 feature의 중요도를 평가하는 방식.Counterfactual Attention Weights: 원래 model이 생성한 attention distribution(alpha)을 대체하기 위해 인위적으로 구성한 가상의 attent..

용어 설명 (Terminology)InfiniBench (Global Appearance Task): 20~40분 분량의 긴 TV 에피소드 video를 보고, 특정 named character의 의상(outfit)이 어떤 순서(sequence)로 바뀌었는지 5지선다(A-E) Multiple Choice Questions (MCQ) 형태로 맞추는 long-form video benchmark task.Name Substitution Sensitivity: video와 객관식 보기(options)는 그대로 둔 채, Question에 등장하는 캐릭터의 이름(name token)만 다른 주연 캐릭터로 바꿨을 때 model이 final output(선택한 알파벳)을 변경하는 비율. genuine character..

용어 설명 (Terminology)VELOCITI (Video et Language Compositionality through Time): 짧은 영화 클립에서 시간에 따른 agent, action, 그리고 이들 간의 association을 평가하기 위해 본 논문에서 제안한 video-language compositional reasoning benchmark.Video-Language Entailment (VLE): 주어진 video(premise)가 caption(hypothesis)의 내용을 논리적으로 수반(entail)하는지 여부를 'Yes' 또는 'No'의 binary classification으로 판별하는 task.ClassicVLE: Positive caption의 entailment sco..

Terminology (논문 핵심 용어 정리)DIG (DIvide, then Ground): 이 논문에서 제안하는 training-free frame selection framework. Query를 먼저 분류(Divide)한 뒤, 세부 탐색이 필요한 경우에만 관련 구간을 정밀하게 찾아내는(Ground) 적응형 파이프라인.Global Query (GQ): 비디오 전체의 맥락이나 주제, 전반적인 요약 등 holistic video understanding을 요구하는 질문 유형 (예: "이 비디오를 가장 잘 요약하는 제목은?").Localized Query (LQ): 비디오 내의 특정 temporal segment나 지엽적인 이벤트에 대한 정보를 요구하는 질문 유형 (예: "남자가 타고 있는 자전거의 종류는..

Study Notes: Lost in the Middle, and In-Between: Enhancing Language Models' Ability to Reason Over Long Contexts in Multi-Hop QATerminology & Concepts (용어 설명)Lost in the Middle: Long-context language models가 input context의 양 끝(시작과 끝부분)에 위치한 정보는 잘 활용하지만, 중간(middle)에 위치한 중요한 정보는 간과하여 성능이 저하되는 현상.Multi-Hop Question Answering (MHQA): 단일 문서가 아닌 여러 개의 분리된(disconnected) 문서들에 흩어져 있는 정보들을 순차적으로 연결하며 여러 단..

Terminology (용어 설명)Primacy bias & Recency bias: 입력된 input context의 가장 처음(primacy)이나 가장 마지막(recency)에 위치한 정보를 모델이 더 잘 기억하고 활용하는 현상.Serial-position effect: 심리학 용어로, 사람이 리스트의 항목들을 기억할 때 처음과 마지막 항목을 가장 잘 기억하는 현상. 본 논문에서는 language model의 U-shaped performance curve를 설명하기 위해 차용됨.Closed-book setting & Oracle setting: Closed-book은 아무런 외부 문서(context) 없이 오직 모델의 parametric memory만으로 질문에 답하는 설정이며, Oracle은 di..

Study Notes: Are We Overthinking One-Step Generation? (Priming Models)Terminology (용어 설명)Priming Models: 이 논문에서 제안하는 two-stage one-step generative framework로, 단순한 reconstruction pre-training을 통해 network를 먼저 준비(priming)시킨 후 distributional post-training을 수행하는 모델.Reconstruction Pre-training (Stage 1): 손상된 입력(corrupted input)으로부터 원본 clean image를 복원하도록 학습하는 첫 번째 단계. Time conditioning이나 복잡한 noise sche..