AI바라기의 인공지능
LLM : 빠른 논문 리뷰 : All elementary functions from a single operator 본문
용어 설명
- NAND gate (Sheffer stroke): Boolean logic에서 모든 논리 연산(AND, OR, NOT 등)을 단독으로 구현할 수 있는 범용 게이트. 이 논문의 아이디어에 핵심적인 영감을 제공함.
- EML (Exp-Minus-Log): 저자가 이 논문에서 발견한 단일 범용 이항 연산자. eml(x, y) = exp(x) - ln(y)로 정의됨.
- Elementary functions: 대수적 연산(+, -, *, /), 지수, 로그, 삼각함수, 쌍곡선 함수 등 표준 scientific calculator (과학용 계산기)에서 제공하는 수학 함수들의 집합.
- Numeric bootstrapping: 복잡한 수식의 symbolic verification(기호 연산을 통한 증명)이 계산적으로 불가능할 때, 대수적으로 독립적인 초월수(예: Euler-Mascheroni 상수)를 대입하여 numerical value의 일치 여부로 수식의 동일성을 빠르게 검증하는 휴리스틱 방법.
- Schanuel conjecture: 지수 함수의 대수적 독립성에 관한 수학적 추측. 이 논문에서는 서로 다른 두 수식에 특정 초월수를 대입했을 때 결과값이 우연히 같을 확률은 0에 가깝다는 가정을 뒷받침하여, numeric bootstrapping의 신뢰성을 보장하는 근거로 쓰임.
- Symbolic Regression (SR): 데이터 포인트들로부터 이를 설명할 수 있는 수학적 closed-form 공식을 직접 찾아내는 기계 학습 기법.
Purpose of the Paper
- 기존 연구의 한계: Digital electronics 에는 모든 회로를 구성할 수 있는 단일 primitive 인 NAND gate 가 존재하지만, continuous mathematics 에는 이에 필적하는 단일 연산자가 알려지지 않음. sin, cos, exp, log 등 수많은 elementary functions 가 사실 중복성을 띠고 있음에도 불구하고, 프로그래밍 언어나 계산기에서는 여러 연산자를 개별적으로 유지하고 사용해야 했음.
- 새로운 문제 정의: "과학 계산기의 모든 기능(기본 산술, 삼각/쌍곡선 함수, 초월수 생성 등)을 완벽하게 재구성할 수 있는 최소 단위의 단일 이항 연산자(single binary operator)와 단일 상수가 존재하는가?" 라는 근본적인 질문을 던지고, 이를 찾아내고자 함.
Key Contributions
- EML 연산자 발견: eml(x, y) = exp(x) - ln(y) 라는 단 하나의 이항 연산자와 상수 1만 있으면 모든 elementary functions 와 상수(e, pi, i, -1 등)를 생성할 수 있음을 최초로 증명함.
- 수학 수식의 구조적 통일 (Novelty): 기존의 이질적이고 복잡한 수학 수식들을 S -> 1 | eml(S, S) 라는 극도로 단순한 context-free grammar 와 동일한 형태의 binary tree (이진 트리) 구조로 통일화함.
- 효율적인 탐색 및 검증 방법론 제시 (Novelty): 연산자 탐색 공간이 너무 커서 직접적인 기호 연산(symbolic)이 불가능한 문제를 해결하기 위해, algebraically independent constants 를 대입해 비교하는 numeric bootstrapping 기법을 도입하여 탐색 속도를 비약적으로 단축함.
- 새로운 Symbolic Regression 패러다임 제안: 이질적인 연산자들을 섞어 쓰는 기존 SR 방법론과 달리, 오직 EML 로만 구성된 parameterised "master formula" 구조를 활용. standard gradient-based optimizers (예: Adam)를 사용하여 정확한(exact) 수식을 찾아내는 새로운 학습 구조를 제시함.
Experimental Highlights
- Ablation Study를 통한 연산자 축소: 처음 36개의 primitives (Base-36)로 시작하여 단계적으로 불필요한 연산자를 제거해 나감. Calc 3 -> 2 -> 1 -> 0 단계를 거쳐 최종적으로 3개의 primitives (상수 1, 변수 x, eml 연산자)만으로 구성된 시스템 도달 성공.
- EML Compiler 구현: 임의의 수식을 EML tree 로 변환하는 컴파일러를 구현. 예를 들어, ln(x) 는 eml(1, eml(eml(1, x), 1)) 이라는 깊이 3의 트리 구조로 정확히 매핑됨.
- Continuous Optimization을 통한 SR 성능 검증: EML tree 를 trainable circuits 으로 간주하고 데이터를 학습시킴.
- 결과: 얕은 깊이(depth 2)의 트리에서는 random initialization 에서 시작해도 100% 확률로 exact closed-form 수식을 완벽하게 복원(exact recovery) 함. 깊이 3~4에서도 약 25%의 복원 성공률을 보임.
- 정확도: 학습이 성공했을 때 오차(mean squared error)는 machine epsilon squared (약 10의 -32승) 수준으로 떨어지며, 완벽한 symbolic 일치를 달성함.
Limitations and Future Work
- Complex Domain 연산 필수 (Limitation): 최종 결과물이 실수(real number) 함수라 하더라도, 연산 중간 과정에 필연적으로 음수의 로그(ln(-1)) 계산이 포함되어 내부적으로는 complex arithmetic (복소수 연산) 을 수행해야 함. 이로 인해 표준 프로그래밍 환경에서 NaN, Infinity 등의 floating-point 에러 핸들링이 까다로움.
- 상수 '1'에 대한 의존성 (Limitation): NAND gate 는 외부 입력 없이 스스로 0과 1을 생성할 수 있지만, EML 은 로그 항을 무효화(ln(1)=0)하기 위해 반드시 시스템 내에 상수 1이 단말 노드로 존재해야 함.
- Future Work:
- 상수 없이도 모든 것을 생성할 수 있는 완벽한 이항 연산자(binary Sheffer) 또는 T(x,y,z) = exp(x)/ln(x) * ln(z)/exp(y) 같은 ternary operator 의 유효성 탐색.
- 단일 변수만을 받는 univariate Sheffer 연산자의 존재 여부 규명 (성공 시 neural networks 의 범용 activation function 으로 활용 가능).
- EML tree 의 깊이가 깊어질 때의 gradient 수렴 문제를 개선하여, 복잡한 현실 데이터를 처리할 수 있는 상용 수준의 Symbolic Regression architecture 로 발전시킴.
Overall Summary
이 논문은 continuous mathematics 분야에서 Boolean logic 의 NAND gate 에 해당하는 단일 범용 연산자(EML)를 최초로 발견하고 검증했습니다. 이를 통해 복잡한 elementary functions 를 오직 단 한 종류의 연산자로 구성된 균일한 binary tree 로 단순화할 수 있음을 증명했습니다. 이 발견은 단순히 수학적 호기심을 넘어, 복잡한 수식을 동일한 형태의 아날로그 회로로 구성하거나, gradient 기반 최적화(deep learning)를 통해 데이터로부터 해석 가능한 정확한 수학 공식을 도출해내는 Symbolic Regression 분야에 강력하고 새로운 접근법을 제공하는 중대한 의의를 가집니다.
쉬운 설명
우리가 흔히 쓰는 수학이나 계산기에는 덧셈(+), 곱셈(*), 지수(exp), 사인(sin) 같은 수많은 '특수 버튼'들이 있습니다. 이 논문은 놀랍게도 이 모든 버튼이 필요 없으며, 오직 EML 이라는 단 한 가지 모양의 레고 블록과 1 이라는 기본 부품 딱 하나만 있으면 아무리 복잡한 수학 공식이나 파이(pi) 같은 숫자도 전부 조립해낼 수 있다는 것을 발견했습니다. 즉, 복잡해 보이는 수학 세계가 사실은 똑같이 생긴 아주 단순한 부품의 반복 연결만으로 만들어질 수 있다는 것을 밝혀낸 것입니다. 이를 인공지능에 적용하면, AI가 복잡하고 다양한 모양의 수식을 일일이 끼워 맞추며 헤맬 필요 없이, 한 가지 블록만 가지고 학습하면서 인간이 이해할 수 있는 완벽한 '수학 공식'을 스스로 찾아내게 만들 수 있습니다.
덧셈, 뺄셈, 곱셈, 나눗셈뿐만 아니라 삼각함수, 로그, 지수 같은 복잡한 **기본 함수들(Elementary Functions)**을 단 하나의 이진 연산자(eml)만으로 모두 표현할 수 있음을 증명