AI바라기의 인공지능

Tracing the Thoughts of a Large Language ModelAnthropic은 2025년 3월, Claude의 내부 계산 과정을 추적한 Tracing the Thoughts of a Large Language Model을 공개했다.기존 mechanistic interpretability 연구가 주로 모델 내부의 특정 feature가 어떤 개념을 나타내는지 찾는 데 집중했다면, 이번 연구는 한 단계 더 나아간다.여러 feature가 어떻게 연결되어 실제 답변을 만들어내는가?즉, 개별 feature의 의미를 찾는 것을 넘어 feature 사이의 causal interaction을 circuit 형태로 추적하는 것이 핵심이다.1. AI의 내부 계산을 추적하기LLM은 사람이 직접 작성한 ..

용어 설명 (Terminology)Test-Time Compute (Inference-Time Compute): 모델 학습이 끝난 후, 추론(inference) 단계에서 더 나은 정답을 도출하기 위해 추가로 투입하는 연산량(FLOPs). 반복 샘플링, 트리 탐색, 자기 수정 등이 포함됩니다.Best-of-N Sampling: 동일한 prompt에 대해 모델로부터 N개의 후보 답변을 독립적(parallel)으로 생성한 후, 검증기(verifier)나 보상 모델(reward model)을 통해 가장 점수가 높은 답변을 선택하는 기법입니다.PRM (Process-based Reward Model): 최종 답안뿐만 아니라 풀이 과정의 각 단계(step)별 타당성과 정답 도달 가능성(reward-to-go)을 평..

국내 표시 제품명사브레 치즈크림 크레페영문명SABLE CHEESE CREAM CREPES제조사·원산지ZHEJIANG SABLE FOOD CO., LTD. / 중국수입사한국뉴초이스푸드㈜포장 구성1.2kg, 20g × 60봉지확인 가능한 가장 이른 수입 기록2026년 6월 19일 꺄 지원 받았어요... 생긴건 맛있어 보여요 두개 들어있어요 크기는 검지손가락 정도웨이퍼의 결이 그대로 느껴지네요 자르기전엔 이래요. 약간 빨대로 써도 될듯엄청 바삭해요 생각보다 바삭해서 놀랬어요 “아그작.” 생각보다 훨씬 바삭했다. 가볍게 한입 베어 물었을 뿐인데 얇은 크레페가 와르르 무너지며 책상 위에 부스러기를 뿌렸다.첫입부터 과자에게 기습을 당한 셈이다. 입안에서는 그 난리가 계속됐..

용어 설명Single-frame Bias: 기존 비디오 벤치마크에서 영상 전체를 보지 않고 단 1장의 프레임(또는 소수의 대표 프레임)만 보고도 질문의 정답을 맞출 수 있어, 입력 프레임 수를 늘려도 모델 성능이 향상되지 않는 현상.Referring Reasoning: 비디오 내 특정 시점이나 상황을 지칭(referring)하는 단서를 질문에 제공하고, 모델이 해당 참조 문맥(referred context)을 찾아 세부 시각 정보와 시간적 관계를 논리적으로 추론(reasoning)하도록 설계한 평가 태스크.Referring Query & Referred Context: Referring Query는 비디오 내 특정 순간이나 대상을 지목하는 질문 부분이며, Referred Context는 쿼리가 가리키는 ..

용어 설명BFM (Basic Flight Maneuvers): 전투기 조종사가 근접 공중전(dogfighting) 시 사용하는 기초 비행 기동 기술.WEZ (Weapons Engagement Zone): 기총 유효 사격 범위. 본 환경에서는 기수 전방 2도 원뿔각 및 거리 500~3000 ft 사이 공간으로 정의되며, 거리 역비례로 상대 체력에 초당 데미지를 가함.Hard Deck: 최저 비행 고도 제한선 (본 환경에서는 1000 ft). 이 고도 아래로 떨어지면 즉시 체력이 0이 되어 패배 처리됨.JSBSim: 6자유도(6-DOF) F-16 비행 역학을 시뮬레이션하는 오픈소스 고충실도(high-fidelity) 공기역학 엔진.Gun Snap: 발사체 시뮬레이션 대신 상대 항공기를 기총 조준선(WEZ) ..

용어 설명STaR (Self-Taught Reasoner): LLM이 스스로 rationale(추론 과정)을 생성하고, 정답 여부에 따라 필터링된 데이터셋으로 자기 자신을 반복적으로 fine-tuning하여 추론 능력을 점진적으로 부트스트래핑(bootstrapping)하는 프레임워크.Rationale / Scratchpad: 최종 answer를 도출하기 전에 모델이 생성하는 중간 단계의 step-by-step reasoning(연쇄적 사고 과정) 텍스트.Rationalization (사후 정당화/역추론): 모델이 문제를 틀렸을 때, 정답(ground-truth answer)을 힌트(hint)로 제공하여 모델이 정답으로부터 역방향으로 추론(reason backward)하여 올바른 rationale을 생성하..

용어 설명Video Sycophancy (비디오 동조 편향): 모델이 비디오의 실제 시각적 사실보다 사용자가 프롬프트에 주입한 거짓 주장이나 편향된 전제에 무비판적으로 동조하는 현상.Temporal Expectation Bias (시간적 기대 편향): 비디오에서 실제로 관측된 시간적 흐름(예: 거꾸로 타오르는 촛불)보다 사전 학습을 통해 습득한 일반적인 인과율 및 이벤트 사전 지식(Forward-moving priors)을 우선시하여 잘못 해석하는 오류.Language-only Shortcuts (언어 전용 지름길): 시각적 증거를 분석하는 대신, 텍스트 질문 및 보기 자체의 통계적 규칙성이나 언어적 개연성(예: '썰기 -> 볶기 -> 담기'의 표준 조리 순서)만을 근거로 삼아 정답을 유추하는 편법 추론..

용어 설명Self-Consistency (자기 일관성): 단일 탐색 경로에 의존하지 않고 여러 개의 다양한 추론 경로(Reasoning Paths)를 샘플링한 후, 가장 일관되게 도출된 최종 정답을 다수결로 선택하는 디코딩 전략.Sample-and-Marginalize (샘플링 및 주변화): 언어 모델 디코더에서 다양한 추론 경로를 먼저 샘플링(Sample)한 뒤, 중간 추론 경로(Latent Variable)를 소거(Marginalize out)하고 최종 답변의 빈도수를 취합하는 절차.Greedy Decoding (탐욕적 디코딩): 각 스텝마다 가장 높은 확률을 가진 토큰만을 선택하는 결정론적 생성 방식. 반복성 문제와 지역 최적해(Local-optimality)에 취약함.Self-Ensemble (자..

용어 설명QPVA3 (Question Parsing, Video Alignment, and Answer Aggregation): 복잡한 VideoQA 문제를 질문 파싱(Planner), 비디오 정렬(Executor), 답변 취합(Reasoner)의 세 단계 그래프 기반 인과/논리적 추론으로 분해해 해결하는 프레임워크.Compositional Graph (합성 그래프): 복잡한 high-level 질문을 leaf node(직접 관찰 가능한 atomic perceptual question)부터 상위 추론 질문까지 DAG(Directed Acyclic Graph) 형태로 구조화한 논리적 질문 분해 그래프.Video Aligner (비디오 정렬기): 질문과 관련된 핵심 비디오 구간(relevant clips)을..

용어 설명 (Terminology)Chain-of-Thought (CoT): 복잡한 추론 문제를 해결하기 위해 최종 정답에 도달하기 전 모델이 생성하는 일련의 중간 자연어 추론 단계(intermediate natural language reasoning steps).Standard Prompting: 모델에 몇 가지 예시를 제시할 때 질문과 최종 정답의 쌍(⟨input, output⟩)만으로 프롬프트를 구성하는 전통적인 few-shot 방식.Chain-of-Thought Prompting: Few-shot 프롬프트의 각 exemplar에 문제 해결을 위한 중간 추론 과정을 추가하여 ⟨input, chain of thought, output⟩ 형태의 트리플 구조로 모델을 유도하는 기법.Emergent Ab..