Latent : 빠른 논문 리뷰 : Extracting Governing Equations from Latent Dynamics via Multi-View Contrastive Learning

용어 설명

• Latent Dynamical Systems: 직접 관측할 수는 없지만, 고차원 데이터의 기저에서 시간에 따라 변화하며 시스템 전체를 지배하는 저차원의 핵심 상태와 그 변화 규칙.
• Multi-View Contrastive Learning: 동일한 현상에 대해 노이즈가 낀 여러 개의 독립적인 관측 데이터(views)를 서로 대조(contrast)하여, 뷰마다 무작위로 발생하는 노이즈는 무시하고 공통된 핵심 신호만 추출해내는 학습 기법.
• Affine Gauge (Affine Indeterminacy): 모델이 원래의 시스템을 성공적으로 복원하더라도, 정확히 똑같은 값이 아니라 선형 변환(회전, 스케일링, 이동 등) 수준의 차이는 구별할 수 없는 상태. 본 논문에서 달성하고자 하는 수학적 identifiability의 기준점.
• Symbolic Regression: 데이터 포인트들을 단순히 딥러닝 벡터로 표현하는 것을 넘어, 시스템을 지배하는 명시적이고 해석 가능한 수학적 함수나 방정식(예: 다항식)을 찾아내는 과정.
• Flow Field: 상태 공간(phase space)의 각 지점에서 시스템이 다음 순간 어느 방향으로 얼마나 변할지를 나타내는 벡터 필드. 이 논문에서는 시스템의 dynamics 모델을 의미.
• Poisson Observation Noise: 평균값에 비례하여 분산이 달라지는 특성을 가진 노이즈. 신경 과학(neuroscience)에서 뉴런의 불규칙한 스파이킹(spiking) 활동을 모델링할 때 매우 중요하게 다뤄짐.

---

Purpose of the Paper

• 기존 연구의 한계: 현실의 관측 데이터(특히 신경 세포 기록 등)는 매우 고차원이며 극심한 non-linear noise를 포함함. 명시적인 방정식을 찾는 기존의 symbolic regression 기법(SINDy 등)은 관측값에 노이즈가 없거나 latent state에 직접 접근할 수 있다고 가정하여 현실 데이터에 적용하기 어려움. 또한 기존의 contrastive learning 기반 system identification 연구(DYNCL 등)조차 noiseless observation이라는 비현실적 가정에 의존함.
• 새로운 문제 정의 및 접근 방식: "노이즈가 심한 비선형 관측 환경에서도, 여러 개의 독립적인 관측 뷰(multi-view)를 활용한다면 노이즈를 걸러내고 기저의 지배 방정식(governing equations)을 찾아낼 수 있지 않을까?"라는 질문에서 출발. 이를 위해 DYSCO라는 Multi-View Temporal Contrastive Learning 프레임워크를 제안하여, 데이터의 representation 학습과 해석 가능한 과학적 법칙 발견(scientific discovery) 사이의 간극을 연결하고자 함.

---

Key Contributions

• DYSCO 프레임워크 제안 (참신성: Multi-view와 Dynamics의 결합)
  • 시간적 흐름(temporal structure)과 다중 뷰(multi-view) 일관성을 동시에 강제하는 contrastive objective를 설계하여, 고차원 noisy observation으로부터 latent states와 dynamics를 동시에 추론함. 단순한 특성 추출을 넘어 dynamics 자체를 복원한다는 점이 핵심.
• 현실적 환경에서의 Theoretical Identifiability 보장 (참신성: Noisy Nonlinear 관측 환경으로의 이론적 확장)
  • 관측 데이터에 심각한 non-linear noise가 존재하는 환경에서도, multi-view contrastive learning이 latent dynamical system을 affine transformation 범위 내(affine gauge)에서 완벽하게 식별(identify)할 수 있음을 수학적으로 증명함.
• Compatibility with Symbolic Regression (참신성: 딥러닝과 기호 회귀의 결합 구조)
  • 학습되는 dynamics를 신경망의 블랙박스가 아닌 미리 정의된 함수 기저(functional basis, 예: 다항식)의 조합으로 파라미터화함. 이를 통해 학습 이후 affine gauge 구조 내에서 가장 sparse한 방정식을 찾는 최적화를 거쳐 명시적인 symbolic 방정식으로 복원할 수 있는 파이프라인을 제시함.

---

Experimental Highlights

• 주요 실험 설정 (Datasets & Noise): Lorenz (혼돈계), Duffing (주기계), FitzHugh-Nagumo (신경세포 모사계) 등 다양한 dynamical regimes에서 테스트. 특히 일반적인 Gaussian 노이즈뿐만 아니라 실제 뇌신경 데이터의 특성을 반영한 Poisson 노이즈 환경을 강제하여 실험.
• 핵심 결과 및 SOTA 달성 (Metrics: R2, dynR2):
  • DYSCO는 극심한 관측 노이즈 상황에서도 높은 수준의 latent trajectory 복원율(R2 평균 97.6 ~ 98.0퍼센트)과 flow field 복원율(dynR2 평균 85.4 ~ 87.4퍼센트)을 달성함.
  • Baseline(DYNCL) 압도: 기존 noiseless 가정 모델인 DYNCL과 비교했을 때, Gaussian 및 Poisson 노이즈 환경에서 DYNCL은 flow field 식별(dynR2)에 완전히 실패(0퍼센트)한 반면, DYSCO는 82.3퍼센트 수준의 높은 성능을 유지함. 이는 multi-view consistency가 현실의 노이즈를 제거하는 핵심 메커니즘임을 명확히 증명함.

---

Limitations and Future Work

• Simulated Data 환경에 국한됨
  • 한계점: 현재는 ground-truth 방정식이 존재하는 시뮬레이션 데이터에서만 검증되어 실제 현실 환경의 변수 통제 문제를 겪지 않음.
  • Future Work: 실제 neuroscience 데이터(neural spiking activity) 등에 적용하여 real-world applicability를 입증해야 함.
• Latent 차원 및 함수 기저(Basis)의 사전 정의 필요
  • 한계점: 숨겨진 시스템의 차원 수(d)와 방정식을 구성할 재료(polynomial basis 등)를 사용자가 미리 알고 세팅해야 함.
  • Future Work: 데이터로부터 intrinsic dimensionality를 자동으로 추정하는 기법을 도입하거나, Taylor expansion과 같이 더 유연한 basis approximation을 결합하여 사전 지식에 대한 의존도를 낮춰야 함.
• Symbolic Recovery의 불완전성
  • 한계점: Affine gauge 내에서 L1 thresholding을 통해 가장 압축된 방정식을 뽑아내지만, 완벽하게 정답 항만 남기지 못하고 미세한 오답 항(spurious terms)들이 섞여 나옴.
  • Future Work: 쌍을 이루는 teacher-student 모델 구조를 도입하거나, L0 approximation과 같은 더 발전된 희소성(sparsity) 최적화 기법을 사용하여 완벽하게 깔끔한 symbolic 회귀를 달성해야 함.

---

Overall Summary

이 논문은 고차원의 심각한 노이즈가 섞인 관측 데이터로부터 숨겨진 시스템의 상태 변화를 추론하고, 이를 지배하는 명시적 수학 방정식을 찾아내는 DYSCO 프레임워크를 제안합니다. 다중 뷰(multi-view) 기반의 대조 학습을 통해 노이즈를 효과적으로 분리해내며, 수학적으로 affine 변환 수준까지 시스템을 식별(identifiability)할 수 있음을 증명하고 실험으로 SOTA 성능을 입증했습니다. 이는 단순히 데이터의 패턴을 학습하는 representation learning을 넘어 해석 가능한 과학적 법칙 발견(scientific modeling)을 딥러닝으로 가능하게 한 중요한 진전이며, 특히 노이즈가 심한 신경 과학(neuroscience) 분야에서 뇌의 작동 알고리즘을 방정식 형태로 복원하는 데 큰 영향을 줄 수 있습니다.

---

쉬운 설명

이 논문의 아이디어는 **"폭풍우 속에서 춤추는 사람의 안무 공식 알아내기"**와 같습니다. 거센 비바람(Noise) 속에서 춤추는 사람(Latent Dynamics)을 한 대의 화질 나쁜 CCTV로만 보면 빗방울과 노이즈 때문에 춤의 규칙을 알아낼 수 없습니다. 하지만 여러 각도의 CCTV(Multi-Views) 화면을 동시에 대조(Contrastive Learning)하면, 화면마다 무작위로 찍히는 빗방울 패턴은 서로 다르지만 사람의 춤 동작이라는 '공통된 신호'는 일치한다는 것을 인공지능이 깨닫게 됩니다. 이 논문은 이렇게 여러 노이즈 낀 화면을 비교하여 춤 동작을 정확히 파악할 뿐만 아니라, 딥러닝의 블랙박스에 머물지 않고 그 춤을 구성하는 명확한 안무 공식(기호화된 지배 방정식)까지 자동으로 텍스트처럼 써서 제출하게 만드는 똑똑한 방법론입니다.

 

 

 

 

 

 

 

 

 

여러장의 이미지를 보고 다음 상태의 잠재 변수를 맞춘다.

 

 

 

1. View A (현재) ➡️ 인코더 ➡️ 잠재 변수 ➡️ 다이내믹스 모델(방정식) ➡️ 예측된 미래 잠재 변수
2. View B (미래) ➡️ 인코더 ➡️ 실제 미래 잠재 변수 (정답)

 

 

특별한건 방정식 부분인듯

 

근데 안특별해보임. 고정차수 함수에서 계수만 모델이 배우는 정도

 

여러 뷰를 통해 공통 정보를 배울 수 있다가 특징이긴한데, 방법 자체는 간단해 보임.

 

 

정확히 쓰면

1. 같은 latent state를 여러 noisy view로 관측한다.
2. encoder h가 각 view를 latent z로 보낸다.
3. view마다 다른 noise는 버리고, 공통 신호만 남기도록 contrastive loss를 건다. (사실은 그냥 거는거, 논리는 반ㄷ )
4. 현재 latent z_t를 f_hat으로 forward/backward rollout한다.
5. rollout 결과가 다른 view/다른 시점의 encoder output과 맞게 만든다. 
6. 동시에 unrelated sample은 멀어지게 한다.
7. 결과적으로 encoder h와 dynamics f_hat이 같이 학습된다.