논문리뷰 : Koopa: Learning Non-stationary Time Series Dynamics with Koopman Predictors

쉬운 설명

Koopa는 마치 시계열 데이터를 "두 종류의 춤"으로 나눠서 보는 것과 같습니다. 어떤 춤은 "항상 추는 기본 스텝"(time-invariant)이고, 다른 춤은 "상황에 따라 바뀌는 즉흥 스텝"(time-variant)입니다. Koopa는 먼저 Fourier Filter라는 도구로 이 두 종류의 춤을 분리합니다. 그리고 "기본 스텝"은 미리 배워둔 하나의 큰 안무(K_inv)로 예측하고, "즉흥 스텝"은 매 순간의 분위기(lookback window)를 보고 즉석에서 안무(K_var)를 짜서 예측합니다. 이런 예측 블록(Koopa Block)을 여러 개 쌓아서 점점 더 정확하게 춤 동작을 맞춰나갑니다. 특히, Koopa는 과거 동작을 똑같이 따라 하는 연습(재구성 손실) 대신 오직 미래 동작을 맞추는 데만 집중해서 더 효율적이고, 새로운 실제 동작을 보면 "즉흥 스텝" 안무를 살짝 수정해서 더 긴 시간 동안의 춤도 잘 예측할 수 있습니다.

 

 

Koopa: Learning Non-stationary Time Series Dynamics with Koopman Predictors 학습 노트

용어 설명 (Terminology)

• Koopman Theory: 비선형 동적 시스템(nonlinear dynamical system)을 measurement function 공간에서 선형 Koopman operator로 변환하여 분석하는 이론.
• Koopman Operator (K): Measurement function 공간에서 시스템의 시간적 변화를 나타내는 선형 연산자. K * g(x_t) = g(x_{t+1}) 관계를 만족.
• Measurement Function (g(x)): 원본 상태 공간 x를 Koopman operator가 선형적으로 작용하는 고차원 공간으로 매핑하는 함수. 이 논문에서는 딥러닝으로 학습됨.
• Dynamic Mode Decomposition (DMD): 데이터로부터 Koopman operator의 주요 모드(eigenmodes), 주파수(eigenfrequencies), 진폭(amplitudes)을 추출하는 수치적 방법.
• eDMD (extended DMD): DMD를 확장하여 비선형 measurement function (dictionary of observables)을 사용하는 방법.
• Koopman Autoencoder (KAE): eDMD의 일종으로, autoencoder를 사용하여 measurement function과 Koopman operator를 동시에 학습. 일반적으로 lookback window 재구성 손실(reconstruction loss)을 포함.
• Non-stationarity: 시계열 데이터의 통계적 특성(평균, 분산 등)이 시간에 따라 변하는 현상.
• Koopa Block: 이 논문에서 제안하는 모델의 기본 구성 요소. Fourier Filter, Time-invariant KP, Time-variant KP로 구성되어 계층적 동역학을 학습.
• Fourier Filter: FFT(Fast Fourier Transform)를 이용해 시계열을 time-invariant (저주파 중심의 안정적 패턴) 성분과 time-variant (나머지 주파수의 가변적 패턴) 성분으로 분리.
• Koopman Predictor (KP): Time-invariant KP 또는 Time-variant KP를 지칭. Koopman embedding과 operator를 학습/계산하여 예측을 수행.
• Time-invariant KP (TimeInvKP): 전역적으로 공유되는 Koopman embedding과 학습 가능한 Koopman operator (K_inv)를 통해 time-invariant 성분을 예측.
• Time-variant KP (TimeVarKP): 지역적으로 계산되는 Koopman operator (K_var)를 통해 time-variant 성분을 예측. K_var는 각 lookback window 내에서 eDMD 방식으로 on-the-fly로 계산됨.
• Wold's Theorem: (공분산) 정상 시계열(covariance-stationary time series)이 결정론적(deterministic) 성분과 이동 평균(moving average) 형태의 확률론적(stochastic) 성분으로 분해될 수 있다는 정리. 이 논문에서는 아이디어 차용.
• Lookback window: 예측을 위해 사용하는 과거 데이터의 기간.
• Forecast horizon: 예측하고자 하는 미래 기간.
• Operator adaptation: 예측 horizon 확장 시, 새로 들어오는 실제값(ground truth)을 사용하여 Time-variant KP의 K_var를 점진적으로 업데이트하는 메커니즘.

Purpose of the Paper

• 기존 딥러닝 시계열 예측 모델들이 real-world 시계열 데이터의 고질적인 non-stationarity (시간에 따라 변하는 통계적 분포)로 인해 예측 성능 저하를 겪는 한계 극복.
• Koopman theory에 기반하여, non-stationary 시계열의 근본적인 time-variant dynamics를 다루는 새로운 예측 프레임워크 "Koopa" 제안.
• 시계열을 time-variant와 time-invariant 구성 요소로 분리하고, 각각에 맞는 Koopman Predictor를 설계하여 동역학을 예측.

Key Contributions & Novelty

• Hierarchical Dynamics Learning with Koopa Blocks:
  • Contribution: 여러 개의 Koopa Block을 쌓아 이전 블록에서 포착하지 못한 잔차(residual)에 대해 동역학을 순차적으로 학습.
  • Novelty: 복잡한 non-stationary 동역학을 단순한 기본 동역학들의 합으로 분해하여 점진적이고 계층적으로 모델링하는 방식.
• Dynamics Disentanglement via Fourier Filter:
  • Contribution: 각 Koopa Block의 시작 부분에서 Fourier Filter를 사용하여 입력 시계열을 time-invariant 성분과 time-variant 성분으로 분리.
  • Novelty: 주파수 영역 분석을 통해 명시적으로 두 가지 다른 특성의 동역학 성분을 분리하고, 각 성분에 특화된 Koopman Predictor를 적용.
• Dual Koopman Predictors (TimeInvKP & TimeVarKP):
  • Contribution: TimeInvKP는 전역적으로 공유되는 Encoder/Decoder와 학습 가능한 Koopman operator (K_inv)를 통해 안정적인 장기 패턴을, TimeVarKP는 동일 Encoder/Decoder를 사용하되 각 lookback window 내에서 on-the-fly로 계산되는 지역적 Koopman operator (K_var)를 통해 국소적이고 변화하는 패턴을 모델링.
  • Novelty: Non-stationarity의 두 가지 핵심 측면(안정적 전역 패턴과 가변적 지역 패턴)을 Koopman 이론 내에서 효과적으로 구분하여 처리.
• End-to-End Forecasting Objective (Reconstruction Loss Removal):
  • Contribution: 기존 KAE에서 사용되던 lookback window 재구성(reconstruction) 손실을 제거하고, 오직 최종 예측(forecasting) 목적 함수만을 사용하여 모델 학습.
  • Novelty: 재구성이라는 중간 작업의 부담을 덜어 모델이 예측 성능에만 집중하도록 유도하고, 학습과 추론 간의 불일치(discrepancy)를 줄임.
• Operator Adaptation for Scalable Forecast Horizon:
  • Contribution: 모델 학습 후, 새로운 실제값(ground truth) 데이터가 들어올 때 TimeVarKP의 지역적 K_var만 점진적으로 업데이트하여 예측 horizon을 효율적으로 확장.
  • Novelty: 전체 모델 재학습 없이 변화하는 동역학에 적응하며 장기 예측 성능을 유지하거나 향상시킬 수 있는 실용적인 메커니즘 제공.

Experimental Highlights

• Datasets: ECL, ETT (ETTh1, ETTh2, ETTm1, ETTm2), Exchange, ILI, Traffic, Weather (multivariate), M4 (univariate).
• Metrics: MSE, MAE.
• Baselines: Autoformer, PatchTST, TimesNet, DLinear, FiLM, KNF (Koopman-based forecaster) 등.
• SOTA Performance:
  • 다변량 예측 설정의 70% 이상에서 SOTA 성능 달성 (Table 1).
  • 단변량 M4 데이터셋에서도 일관되게 다른 딥러닝 모델들보다 우수한 성능 (Table 2, OWA 0.858).
  • 기존 Koopman 기반 모델 KNF보다 큰 폭으로 성능 우위.
• Efficiency:
  • SOTA 모델인 PatchTST와 비교 시, 6개 벤치마크 평균 77.3% 학습 시간 단축 및 76.0% 메모리 사용량 절감 (Figure 4).
  • 특히 변수(variate) 수가 많은 Traffic 데이터셋에서 PatchTST 대비 학습 시간 96.5% 절감, 메모리 97.1% 절감 (2.9%만 사용).
• Ablation Study (Table 3, Table 4):
  • Fourier Filter를 통한 동역학 분리, TimeInvKP와 TimeVarKP의 상보적 역할, 재구성 손실 제거의 효과 검증.
  • 재구성 손실을 사용하는 기존 KAE 방식 대비, Koopa의 예측 전용 최적화 방식이 모든 데이터셋에서 평균 10% 이상 MSE 성능 향상 (Table 4, Promotion).
• Scaling Up Forecast Horizon (Table 5):
  • Operator adaptation (Koopa OA) 적용 시, 단순 rolling forecast 대비 예측 성능 향상. 특히 non-stationary 특성이 강한 Exchange 데이터셋에서 MSE 19.6% 개선.
  • 이는 들어오는 실제값을 활용하여 지역적 동역학(K_var)을 더 정확하게 포착하기 때문.

Limitations and Future Work

• Limitations:
  • Variate-specific Dynamics: 현재 모델은 다변량 시계열에서 각 변수(variate)의 개별적인 동역학 패턴이나 변수 간의 관계를 명시적으로 고려하지 않음.
  • Koopman Spectral Theory Underutilization: Koopman mode 분석 등 Koopman spectral theory가 제공하는 해석 가능성을 충분히 활용하지 못함.
  • External Factors (Covariates): 시스템 외부 요인(covariates)을 고려하는 Koopman theory for control을 아직 적용하지 않음.
• Future Work:
  • Interpretability via Koopman Modes: Koopman spectral analysis를 활용하여 non-stationary 데이터의 동역학 모드를 발견하고 해석.
  • Multivariate Dynamics Modeling: 다변량 예측 시, 각 변수의 고유한 진화 패턴 및 변수 간 상호작용을 고려하는 방향으로 모델 개선.
  • Forecasting with Covariates: Koopman theory for control을 접목하여 외부 변수를 고려한 시계열 예측 연구.

Overall Summary

Koopa는 non-stationary 시계열 예측의 어려움을 해결하기 위해 현대 Koopman theory를 기반으로 설계된 새로운 딥러닝 예측 모델이다. Fourier Filter를 통해 시계열을 time-variant 및 time-invariant 동역학으로 분리하고, 각각에 특화된 Koopman Predictor (TimeInvKP, TimeVarKP)를 계층적으로 적용한다. 실험 결과, Koopa는 SOTA 수준의 예측 정확도를 달성하면서도 기존 모델들보다 학습 시간과 메모리 사용량을 현저히 줄였으며, operator adaptation을 통해 예측 horizon을 유연하게 확장할 수 있는 잠재력을 보였다. 이 연구는 Koopman theory를 딥러닝 시계열 예측에 효과적으로 통합하여 non-stationarity 문제를 다루는 새로운 접근법을 제시하며, 향후 Koopman spectral analysis를 통한 해석 가능성 확대 등의 발전이 기대된다.

 

Abstract

실세계의 time series는 내재적인 non-stationarity를 특징으로 하며, 이는 deep forecasting models에 주요한 challenge를 제기합니다. 이전 models이 변화하는 temporal distribution에 의해 유발되는 복잡한 series variations로 어려움을 겪는 반면, 우리는 근본적으로 기저의 time-variant dynamics를 고려하는 현대 Koopman theory로 non-stationary time series에 접근합니다. 복잡한 dynamical systems를 묘사하는 Koopman theory에서 영감을 받아, 우리는 Fourier Filter를 통해 복잡한 non-stationary series로부터 time-variant 및 time-invariant components를 disentangle하고, 각 dynamics를 앞으로 나아가게 하기 위해 Koopman Predictor를 design합니다. 기술적으로, 우리는 hierarchical dynamics를 학습하는 쌓을 수 있는 blocks로 구성된 새로운 Koopman forecaster인 Koopa를 제안합니다. Koopa는 Koopman embedding을 위한 measurement functions를 찾고, Koopman operators를 implicit transition의 linear portraits로 활용합니다. 강력한 locality를 나타내는 time-variant dynamics에 대처하기 위해, Koopa는 temporal neighborhood에서 context-aware operators를 계산하고, 들어오는 ground truth를 활용하여 forecast horizon을 scale up 할 수 있습니다. 게다가, Koopman Predictors를 deep residual structure에 통합함으로써, 우리는 이전 Koopman forecasters의 binding reconstruction loss를 풀고 end-to-end forecasting objective optimization을 달성합니다. state-of-the-art model과 비교하여, Koopa는 77.3%의 training time과 76.0%의 memory를 절약하면서 경쟁력 있는 performance를 달성합니다. Code는 다음 repository에서 사용할 수 있습니다: https://github.com/thuml/Koopa.

 

 

1 Introduction

Time series forecasting은 날씨 예측, 에너지 소비, 재정 평가와 같은 실제 애플리케이션에서 필수적인 부분이 되었습니다. 수많은 관측 가능한 데이터를 통해, deep learning 접근 방식은 우수한 performance를 보이며 deep forecasting models의 붐을 가져왔습니다. TCNs는 convolutional kernels를 활용하고 RNNs는 recurrent structure를 활용하여 기저의 temporal patterns를 capture합니다. 그 후, attention mechanism은 sequence modeling의 주류가 되었으며 Transformers는 point-wise temporal dependencies를 학습하는 능력으로 훌륭한 predictive power를 보여주었습니다. 그리고 최근 MLP의 부활은 dense weighting을 통해 temporal dependencies를 나타내는 간단하지만 효과적인 접근 방식을 제시합니다.

정교하게 designed된 models에도 불구하고, 변화하는 distribution에 대해 deep models이 generalize하는 것은 근본적인 문제이며, 이는 내재된 non-stationarity 때문에 실제 time series에서 널리 나타납니다. Non-stationary time series는 서로 다른 기간에서 time-variant statistics와 temporal dependencies를 특징으로 하며, training과 inference 사이, 심지어 각 lookback window 사이에서도 큰 distribution gap을 유발합니다. 이전 방법들이 non-stationarity의 부정적인 영향을 완화하기 위해 기존 architectural design을 조정하는 반면, time-variant temporal patterns를 자연스럽게 처리하는 데 적용될 수 있는 이론적 근거에 대한 연구는 거의 없습니다.

다른 관점에서 보면, 실제 time series는 time-variant dynamics처럼 작동합니다. 복잡한 dynamics를 분석하는 주요 접근 방식 중 하나인 Koopman theory는 비선형 시스템을 linear Koopman operator로 설명할 수 있는 measurement function space로 변환하는 데 깨달음을 제공합니다. 여러 선행 연구들은 autoencoder networks와 operator-learning을 사용하여 deep learning 접근 방식과의 통합을 달성했습니다. 더 중요한 것은, time-variant dynamics의 경우 시스템의 coordinate transformation이 존재하며, 여기서 localized Koopman operators가 전체 measurement function space를 linearization을 통해 여러 subspaces로 설명하는 데 유효하다는 것이 Koopman theory에 의해 뒷받침된다는 점입니다. 따라서, Koopman-based methods는 non-stationary time series dynamics를 학습하는 데 적합합니다 (Figure 1). 게다가, measurement function space의 linearity는 우리가 비선형 시스템을 해석하기 위해 spectral analysis를 활용할 수 있게 합니다.

본 논문에서는 non-stationary series를 time-invariant 및 time-variant dynamics로 disentangle하고, series dynamics를 계층적으로 설명하고 발전시키기 위해 모듈식 Koopman Predictors (KP)로 구성된 새로운 Koopman forecaster인 Koopa를 제안합니다. 구체적으로, 우리는 dynamics disentangling을 위해 Fourier analysis를 활용합니다. 그리고 time-invariant dynamics의 경우, model은 Koopman embedding과 linear operators를 학습하여 장기 series의 기저에 있는 implicit transition을 밝혀냅니다. 강력한 locality를 나타내는 나머지 time-variant components에 대해서는, Koopa가 서로 다른 lookback windows 내에서 context-aware operator calculation 및 adaptation을 수행합니다. 게다가, Koopman Predictor는 binding reconstruction loss 없이 Koopman Autoencoder의 정형적인 design을 뛰어넘으며, 우리는 end-to-end time series forecasting을 실현하기 위해 모듈식 blocks를 deep residual architecture에 통합합니다. 우리의 기여는 다음과 같이 요약됩니다:

• 현대 dynamics Koopman theory의 관점에서, 우리는 모듈식 Fourier Filter와 Koopman Predictor로 구성된 Koopa를 제안하며, 이는 time series forecasting을 위해 time-invariant 및 time-variant dynamics를 계층적으로 disentangle하고 활용할 수 있습니다.
• Koopman operators의 linearity를 기반으로, 제안된 model은 들어오는 series를 활용하고 변화하는 dynamics에 적응하여 forecast horizon을 확장할 수 있습니다.
• State-of-the-art methods와 비교하여, 우리 model은 6개의 실제 benchmarks에서 평균적으로 77.3%의 training time과 76.0%의 memory를 절약하면서 경쟁력 있는 performance를 달성합니다.

 

 

Koopa 논문 Introduction 핵심 정리노트 (AI 연구자용)

연구 목표: Non-stationary time series forecasting 문제 해결을 위해, 현대 Koopman theory에 기반한 새로운 deep forecasting model, Koopa 제안.

핵심 문제점 (Motivation):

• 기존 deep models은 time series의 non-stationarity (time-variant statistics 및 temporal dependencies)로 인해 발생하는 distribution-shift 문제에 취약.
• Time-variant temporal patterns를 자연스럽게 다룰 수 있는 이론적 기반 연구 부족.

이론적 배경 (Theoretical Basis):

• Koopman theory: 비선형 dynamical systems를 linear Koopman operator로 표현 가능한 measurement function space로 변환.
• Time-variant dynamics에 대해, localized Koopman operators가 linearization을 통해 전체 measurement function space를 여러 subspaces로 설명 가능함을 시사. 이는 non-stationary time series dynamics 학습에 적합.

제안 방법론 (Koopa):

1. Dynamics Disentanglement: Non-stationary series를 time-invariant와 time-variant dynamics로 분리.
   • Fourier Filter (or Fourier analysis): Disentanglement 수행.
2. Koopa Model Architecture:
   • Modular **Koopman Predictors (KP)**로 구성: Series dynamics를 계층적으로 기술하고 예측.
   • Time-invariant dynamics 처리: Koopman embedding과 linear operators를 학습하여 장기적 series의 implicit transition 포착.
   • Time-variant dynamics (strong locality) 처리: 서로 다른 lookback windows 내에서 context-aware operator calculation 및 adaptation 수행.
3. 주요 특징 및 개선점:
   • 기존 Koopman Autoencoder의 binding reconstruction loss 문제 해결.
   • 모듈식 KP blocks를 deep residual architecture에 통합하여 end-to-end time series forecasting 최적화.
   • Koopman operators의 linearity를 활용, 새로운 series data 유입 시 varying dynamics에 adapt하여 forecast horizon 확장 가능.

주요 Contributions 요약:

1. Koopman theory 기반, Fourier Filter와 Koopman Predictor를 결합한 Koopa 제안: Time-invariant/variant dynamics를 계층적으로 분리 및 활용.
2. Koopman operators의 linearity를 통해 varying dynamics에 대한 model adaptation 및 forecast horizon 확장 능력 제시.
3. State-of-the-art 대비 경쟁력 있는 performance 달성 및 training time (77.3%↓), memory 사용량 (76.0%↓) 대폭 절감 (6개 real-world benchmarks 평균).

---

쉬운 설명 : "1 Introduction" 섹션

이 논문의 "Introduction" 부분에서는 "시간이 지남에 따라 패턴이 변하는 데이터 (non-stationary time series)"를 예측하는 것이 얼마나 중요하고, 또 얼마나 어려운지에 대해 이야기하고 있어요. 예를 들어, 날씨나 주식 가격처럼 예측하려는 대상의 특징이 과거와 현재, 그리고 미래에 계속 달라질 수 있다는 거죠. 기존의 AI 예측 모델들은 이렇게 변화무쌍한 데이터에는 잘 대응하지 못하는 경우가 많았습니다.

그래서 이 연구팀은 **"Koopman theory"**라는 수학 이론에서 아이디어를 얻었어요. 이 이론은 아주 복잡하게 움직이는 시스템이라도, 마치 다른 각도에서 보면 단순한 규칙(linear operator)으로 움직이는 것처럼 보이게 만들 수 있다는 개념을 담고 있어요. 특히 데이터의 패턴이 시간에 따라 변할 때, 이 변화하는 부분들을 마치 여러 개의 작은 공간으로 나누어 각각에 맞는 단순한 규칙을 적용할 수 있다는 점에 주목했습니다.

이 아이디어를 바탕으로 **"Koopa"**라는 새로운 AI 예측 모델을 만들었어요. Koopa는 다음과 같은 일을 해요:

1. 패턴 분리: 복잡한 시계열 데이터가 들어오면, 먼저 잘 변하지 않는 큰 흐름(time-invariant dynamics)과 시간에 따라 민감하게 변하는 국소적인 패턴(time-variant dynamics)으로 나누어요. 이때 "Fourier Filter"라는 도구를 사용합니다.
2. 맞춤 예측:
   • 잘 변하지 않는 큰 흐름은 장기적인 관점에서 그 안에 숨겨진 변화의 규칙(Koopman embedding, linear operators)을 학습해서 예측해요.
   • 시간에 따라 민감하게 변하는 부분은 데이터가 들어올 때마다 그 주변 상황(context)을 빠르게 파악해서(context-aware operator calculation) 규칙을 조절하며(adaptation) 예측해요. 이렇게 하면 갑작스러운 변화에도 더 잘 대응할 수 있고, 새로운 데이터가 들어오면 예측 기간도 더 늘릴 수 있다고 해요.
3. 똑똑한 학습 구조: 기존의 Koopman 이론을 활용한 모델들이 가지고 있던 학습의 제약(reconstruction loss)을 없애고, 모델 전체가 처음부터 끝까지(end-to-end) 예측이라는 목표에만 집중하도록 만들었어요.

결과적으로, Koopa는 기존의 최고 성능 모델들과 비슷한 수준으로 예측을 잘 하면서도, 학습에 필요한 시간은 77.3%, 필요한 컴퓨터 메모리는 76.0%나 아낄 수 있었다고 합니다. 즉, 더 빠르고 효율적으로 변화무쌍한 데이터를 예측할 수 있는 새로운 방법을 제시한 것이죠.

 

 

2 Related Work

2.1 Time Series Forecasting with DNNs

Deep neural networks (DNNs)는 time series forecasting 분야에서 큰 발전을 이루었습니다. TCN-based models는 hierarchical temporal patterns를 탐색하고 다양한 receptive fields를 가진 shared convolutional kernels를 채택합니다. RNN-based models는 memory를 가진 recurrent structure를 활용하여 시간 경과에 따른 implicit transition을 밝혀냅니다. MLP-based models는 point-wise weighting을 학습하며, 인상적인 performance와 efficiency는 MLP가 간단한 temporal dependencies를 modeling하는 데 효과적임을 강조합니다. 그러나 이러한 모델들의 실제 적용 가능성은 time-variant properties를 지닌 non-stationary time series에 의해 여전히 제약을 받을 수 있으며, 이는 model capacity와 efficiency에 challenges를 제기합니다. 이전 방법들과 달리, Koopa는 근본적으로 time series 기저의 복잡한 dynamics를 고려하고 Koopman theory에서 영감을 받아 time-variant 및 time-invariant 방식 모두에서 효율적이고 interpretable한 transition learners를 구현합니다.

최근 Transformer-based models 또한 time series forecasting에서 큰 성공을 거두었습니다. 초기 시도들은 canonical structure를 혁신하고 long-term forecasting을 위한 quadratic complexity를 줄였습니다. 그러나 최근 연구들은 Transformer 및 다른 DNNs가 varying temporal distribution에 대해 generalize하는 것이 핵심 문제임을 발견했으며, 여러 연구들은 shifted distribution에 대한 robustness를 강화하도록 조정되었습니다. 특히, PatchTST는 channel-independence와 instance normalization을 통해 Transformer의 performance를 state-of-the-art 수준으로 끌어올렸지만, series variate의 수가 많을 경우 감당하기 어려운 computational cost를 초래할 수 있습니다. 본 논문에서 제안하는, Koopman theory에 의해 뒷받침되는 우리 model은 non-stationary time series에 자연스럽게 작동하며 뛰어난 model efficiency로 state-of-the-art forecasting performance를 달성합니다.

2.2 Learning Dynamics with Koopman Operator

Koopman theory는 수십 년에 걸쳐 현대 dynamical systems를 분석하는 지배적인 관점으로 부상했습니다. Koopman operator를 근사화하는 주요 수치 방법인 Dynamic Mode Decomposition (DMD)과 함께, 공기역학 및 유체 물리학에서 상당한 발전이 이루어졌습니다. 최근 Koopman theory의 발전은 data science 시대에 deep learning approaches와 본질적으로 통합되고 있습니다. 선구적인 연구들은 Koopman Autoencoder와 같은 data-driven approaches를 활용하여 measurement function과 operator를 동시에 학습합니다. PCL은 operator의 consistency와 stability를 향상시키기 위해 backward procedure를 추가로 도입했습니다. Koopman operator가 nonlinear dynamics를 앞으로 진행시키는 능력에 기반하여, 이는 sequence prediction에도 널리 적용됩니다. Koopman spectral analysis를 통해 MDKAE는 sequential data의 기저에 있는 주요 요인들을 disentangle하며 특정 요인으로 forecasting하는 데 능숙합니다. K-Forecast는 temporal signals의 nonlinearity를 처리하기 위해 Koopman theory를 활용하고 long-term time series forecasting을 위한 data-dependent basis를 최적화할 것을 제안합니다. 미리 정의된 measurement functions를 활용하여 KNF는 변화하는 temporal distribution을 가진 time series forecasting에 대처하기 위해 Koopman operator와 attention map을 학습합니다.

이전 Koopman forecasters와 달리, 우리는 hierarchically learned operators를 사용하여 time-variant 및 time-invariant components를 처리하기 위해 모듈식 Koopman Predictors를 design하고, reconstruction loss를 제거하여 Koopman Autoencoder를 혁신함으로써 완전히 predictive한 training을 달성합니다.

 

2 Related Work 핵심 정리노트 (AI 연구자용)

2.1 Time Series Forecasting with DNNs

• 기존 DNNs (TCN, RNN, MLP)의 한계:
  • 다양한 temporal patterns 학습 시도 (hierarchical, recurrent, point-wise weighting).
  • 그러나, non-stationary time series (time-variant properties) 처리 시 model capacity 및 efficiency에 근본적 challenge.
• Transformer-based Models의 현황:
  • Long-term forecasting에서 성공, canonical structure 개선.
  • 핵심 문제: Transformer 및 다른 DNNs 모두 **varying temporal distribution (non-stationarity)**에 대한 generalization 어려움.
  • PatchTST: Channel-independence, instance normalization으로 SOTA 달성. 단, series variate 수가 많을 경우 unaffordable computational cost 발생 가능성.
• 본 논문 (Koopa)의 차별점 (vs. 일반 DNNs/Transformers):
  • Koopman theory에 기반하여 time series 기저의 complicated dynamics를 근본적으로 고려.
  • Time-variant 및 time-invariant 방식 모두에서 efficient, interpretable transition learners 구현.
  • Non-stationary time series에 naturally 작동하며, remarkable model efficiency로 SOTA forecasting performance 달성.

2.2 Learning Dynamics with Koopman Operator

• Koopman Theory 및 기존 연구:
  • Modern dynamical systems 분석의 지배적 관점; DMD는 Koopman operator 근사 방법.
  • Deep learning과 결합: Koopman Autoencoder (measurement function, operator 동시 학습), PCL (consistency/stability 향상).
  • Sequence prediction 응용: MDKAE (factor disentanglement), K-Forecast (nonlinearity 처리, data-dependent basis 최적화), KNF (predefined measurement functions, attention map).
• 본 논문 (Koopa)의 차별점 (vs. 이전 Koopman forecasters):
  1. Modular Koopman Predictors: Time-variant 및 time-invariant components를 hierarchically learned operators로 처리.
     • 이는 단일 Koopman operator나 predefined functions에 의존하는 기존 방식과 차별화.
  2. Koopman Autoencoder 혁신: Reconstruction loss 제거 → fully predictive training 달성.
     • 이는 기존 Koopman Autoencoder가 reconstruction에 치중하여 forecasting objective에 suboptimal일 수 있는 문제를 해결.

---

쉬운 설명 : "2 Related Work" 섹션

이 "Related Work" 섹션에서는 이 논문이 나오기 전에 다른 연구자들이 비슷한 문제를 어떻게 풀려고 했는지, 그리고 이 논문의 방법(Koopa)이 기존 방법들과 뭐가 다른지를 설명하고 있어요.

2.1 Time Series Forecasting with DNNs (AI로 시간 순서 데이터 예측하기)

• 기존의 AI 예측 방법들:
  • AI 기술(TCN, RNN, MLP 같은 모델들)은 시간 순서대로 나오는 데이터(예: 날씨 변화, 주가 변동)를 예측하는 데 많이 쓰여왔어요. 각자 다른 방식으로 데이터 속 패턴을 찾으려고 노력했죠.
  • 문제점: 그런데 이 데이터 패턴이 시간이 지나면서 계속 변하면(non-stationary) 기존 AI 모델들이 힘들어했어요. 모델이 너무 복잡해지거나 계산이 오래 걸리는 문제가 있었죠.
  • 최근 인기 있는 Transformer 모델도 이런 변화무쌍한 데이터에는 잘 적응하기 어렵다는 문제가 지적되었어요. 특히 PatchTST라는 모델은 성능은 좋지만, 다뤄야 할 데이터 종류가 많아지면 계산량이 너무 많아질 수 있다는 단점이 있었죠.
• 이 논문의 Koopa는 뭐가 다른가?:
  • Koopa는 "Koopman theory"라는 좀 더 근본적인 이론을 사용해서, 데이터가 시간에 따라 변하는 복잡한 현상 자체를 이해하려고 해요.
  • 그래서 변화에 더 잘 적응하고, 더 효율적이면서도 SOTA(최고 수준) 예측을 할 수 있다고 말해요. 특히 데이터 패턴이 변하는 non-stationary 상황에 자연스럽게 대처할 수 있다는 점을 강조해요.

2.2 Learning Dynamics with Koopman Operator (Koopman 이론으로 데이터 움직임 배우기)

• Koopman 이론이란?: 복잡하게 움직이는 시스템을 더 단순하게 분석할 수 있게 해주는 수학 이론이에요. 최근에는 AI와 합쳐져서 많이 연구되고 있어요.
  • 기존 Koopman 이론 활용 연구: Koopman Autoencoder 같은 모델로 데이터 변환 방법과 그 안의 규칙을 동시에 배우거나, 특정 요소를 분리해서 예측하는 등의 시도가 있었어요.
• 이 논문의 Koopa는 뭐가 다른가? (다른 Koopman 연구들과 비교해서)
  1. 더 똑똑한 예측기: Koopa는 "Koopman Predictor"라는 작은 예측기 모듈들을 여러 개 사용해요. 이 예측기들이 데이터 속에서 잘 안 변하는 큰 흐름(time-invariant)과 시간에 따라 민감하게 변하는 부분(time-variant)을 나눠서, 각각에 맞는 규칙(hierarchically learned operators)을 계층적으로 학습해요.
  2. 예측에만 집중: 기존의 Koopman Autoencoder는 원래 데이터를 잘 복원하는 데에도 신경을 써야 해서(reconstruction loss), 정작 '예측'이라는 목표에는 조금 부족할 수 있었어요. Koopa는 이 부분을 없애고 오직 '예측'을 가장 잘 하도록(fully predictive training) 모델을 훈련시킨다는 점이 달라요.

결국 이 섹션은 "기존 방법들은 이런저런 한계가 있었는데, 우리 Koopa는 Koopman 이론을 좀 더 발전된 방식으로 활용해서 이런 문제들을 해결하고 더 잘할 수 있어!"라고 이야기하는 부분입니다.

 

 

여기 까지 주인장 이해

 

• 문제 인식: Time series 데이터는 시간에 따라 특성이 많이 변하고(non-stationary), 예측하기 어려운 비선형적인(nonlinear) 특징을 가지고 있다.
• 기존 방법의 어려움: 일반적인 deep learning 방법이나 Transformer를 사용해도 이런 문제를 해결하기 어렵거나, 계산이 오래 걸리는(비효율적인) 문제가 있었다.
• 저자들의 목표: "Koopa"라는 방법을 통해 이 문제를 해결하고자 한다. 이 방법은 Koopman theory에 기반하며, 매우 효율적일 것으로 기대된다.
  
  "Linear Prediction"의 의미 (Koopman Theory 관점에서):
  • 원본 데이터는 비선형적: 우리가 다루는 실제 time series 데이터는 대부분 매우 복잡하고 비선형적입니다. 즉, 다음 값을 예측하는 규칙이 단순한 직선(linear) 관계가 아니라는 뜻입니다.
  • Koopman의 마법 - 관점 바꾸기: Koopman theory의 아이디어는 "복잡한 비선형 시스템이라도, 우리가 어떤 특별한 '관점' 또는 '측정 방식'(measurement function g)을 통해 그 시스템을 바라보면, 그 새로운 관점에서는 시스템의 변화가 아주 단순한 선형적인 규칙(linear Koopman operator K)을 따르는 것처럼 보이게 할 수 있다"는 것입니다.
    • 아까 보셨던 Figure 1을 다시 떠올려보세요. 왼쪽과 가운데의 복잡한 데이터(Nonlinear System)가 오른쪽에서는 단순한 사인파나 직선(Linear System)으로 표현되었죠? 여기서 g가 바로 그 '관점'을 바꾸는 함수이고, K가 그 단순화된 시스템에서 다음 상태를 예측하는 '선형 규칙'입니다.

 

 

3 Background

3.1 Koopman Theory

이산 시간 dynamical system은 xt+1​=F(xt​)로 공식화될 수 있으며, 여기서 xt​는 system state를 나타내고 F는 dynamics를 설명하는 vector field입니다. 그러나 nonlinearity 또는 noisy data 때문에 state에서 직접 system transition을 식별하는 것은 challenging합니다. 대신, Koopman theory는 state가 measurement function g의 space로 project될 수 있다고 가정하며, 이 space는 무한 차원의 linear operator K에 의해 지배되고 시간적으로 앞으로 나아갈 수 있습니다. 다음과 같이 표현됩니다: K∘g(xt​)=g(F(xt​))=g(xt+1​). (1) Koopman theory는 유한 차원의 nonlinear dynamics와 무한 차원의 linear dynamics 사이의 다리를 제공하며, 여기서 spectral analysis tools을 적용하여 심층 분석을 얻을 수 있습니다.

3.2 Dynamic Mode Decomposition

Dynamic Mode Decomposition (DMD)은 관찰된 system state (일명 snapshot)를 수집하여 무한 차원 operator K를 근사하기 위해 가장 적합한 유한 차원 matrix K를 찾습니다. DMD가 dynamics를 분석하는 표준 수치 방법이기는 하지만, 사전 지식 없이는 식별하기 어려운 linear space 가정에서만 작동합니다. 따라서, measurement functions를 수동으로 만드는 것을 피하기 위해 eDMD가 제안되었으며, autoencoders를 사용하여 learning approach와 조화로운 통합이 이루어져 Koopman Autoencoder (KAE)를 산출합니다. deep networks의 universal approximation theorem에 의해, KAE는 data-driven approach에서 학습된 measurement function으로 원하는 Koopman embedding g(xt​)를 찾습니다.

3.3 Time Series as Dynamics

내재된 non-stationarity 때문에 실제 time series를 예측하는 것은 challenging합니다. 그러나 timeline을 확대해보면, localized time series가 약한 stationarity를 나타내는 것을 발견할 수 있습니다. 이는 큰 nonlinear dynamics를 분석하는 Koopman theory와 일치합니다. 즉, measurement function space는 여러 neighborhoods로 나눌 수 있으며, 이들은 localized linear operators에 의해 구별되게 묘사됩니다. 따라서, 우리는 time-variant 및 time-invariant dynamics를 disentangling하여 큰 nonlinear dynamics를 다루는 Koopman-based approaches를 활용합니다. 모든 covariance-stationary time series Xt​가 공식적으로 다음과 같이 분해될 수 있다는 Wold’s Theorem에서 영감을 받아: Xt​=ηt​+∑j=0∞​bj​ϵt−j​, (2) 여기서 ηt​는 deterministic component를 나타내고 ϵt​는 linear filter {bj​}의 stationary process input인 stochastic component입니다. 우리는 서로 다른 components의 기저에 있는 각 dynamics를 활용하기 위해 globally learned 및 localized linear Koopman operators를 도입합니다.

 

 

3 Background 핵심 정리노트 (AI 연구자용)

3.1 Koopman Theory

• 핵심: Nonlinear dynamical system (xt+1​=F(xt​))을 state xt​를 measurement function g를 통해 새로운 space로 projection하여 linear dynamics로 변환.
• 선형적 진화: 이 measurement space에서는 K∘g(xt​)=g(F(xt​))=g(xt+1​) 관계에 따라 infinite-dimensional linear operator K에 의해 시스템이 선형적으로 진행됨. (Equation 1)
• 의의: Finite-dimensional nonlinear dynamics와 infinite-dimensional linear dynamics를 연결, spectral analysis 등 심층 분석 도구 활용 가능.
  • 이 논문은 이 이론을 non-stationary, nonlinear time series에 적용하는 기반으로 삼음.

3.2 Dynamic Mode Decomposition (DMD)

• DMD: 관찰된 system states (snapshots)를 사용하여 무한 차원 Koopman operator K를 유한 차원 matrix K로 근사하는 수치적 방법.
• 한계: Linear space 가정 필요, 사전 지식 없이 식별 어려움.
• eDMD & Koopman Autoencoder (KAE):
  • eDMD: Measurement function 수동 설계를 회피.
  • KAE: eDMD 아이디어를 autoencoder와 결합. Deep networks의 universal approximation theorem을 활용, data-driven 방식으로 Koopman embedding g(xt​) 및 measurement function 학습.
  • 본 논문은 KAE와 같은 data-driven Koopman operator 학습 방식을 기반으로 하되, 이를 개선/확장할 것임을 시사 (e.g., reconstruction loss 제거).

3.3 Time Series as Dynamics (본 논문의 핵심 이론적 토대)

• Non-stationarity 문제: Real-world time series 예측의 주요 challenge.
• 핵심 관찰 및 연결:
  • Non-stationary time series를 국소적으로(zoomed-in) 보면 localized weak stationarity를 나타냄.
  • 이는 Koopman theory의 개념과 부합: measurement function space가 여러 neighborhoods로 나뉠 수 있고, 각 neighborhood는 localized linear operators로 구별되게 묘사 가능. (Non-stationarity를 Koopman으로 다룰 핵심 연결고리)
• 본 논문의 접근 전략 시사:
  • Koopman-based approaches를 활용하여 time-variant dynamics와 time-invariant dynamics를 disentangling 함으로써 large nonlinear dynamics 문제 해결 시도.
• 이론적 영감 (Wold’s Theorem): Covariance-stationary time series Xt​는 deterministic component ηt​와 linear filter를 통과한 stochastic component ∑bj​ϵt−j​로 분해 가능. Xt​=ηt​+∑j=0∞​bj​ϵt−j​. (Equation 2)
  • 이는 time series를 서로 다른 특성의 component로 분해할 수 있다는 아이디어를 지지.
• 구체적 전략 예고: 서로 다른 components (time-variant/invariant)의 기저 dynamics를 활용하기 위해 globally learned Koopman operators와 localized linear Koopman operators를 함께 도입.

---

쉬운 설명 : "3 Background" 섹션

이 "Background" 섹션은 논문에서 사용할 주요 도구와 아이디어에 대한 배경 지식을 설명해주는 부분이에요.

3.1 Koopman Theory (복잡한 움직임을 단순하게 보는 마법 안경)

• 어떤 물체나 시스템이 시간에 따라 아주 복잡하게 움직인다고 상상해보세요 (예: 날씨 변화, 주식 가격). 이 움직임의 규칙을 찾기가 너무 어려울 수 있어요.
• "Koopman theory"는 이런 복잡한 움직임도, 마치 특별한 "마법 안경"(g라는 measurement function)을 쓰고 보면 아주 단순한 규칙(linear operator K)을 따라 움직이는 것처럼 보이게 할 수 있다는 아이디어예요.
• 즉, 어려운 비선형 문제를 더 다루기 쉬운 선형 문제로 바꿔서 분석할 수 있게 해주는 거죠. 이 논문은 이 "마법 안경" 아이디어를 시간 순서 데이터 예측에 사용하려고 해요.

3.2 Dynamic Mode Decomposition (DMD) (마법 안경과 규칙을 컴퓨터로 찾는 방법)

• 그럼 그 "마법 안경"(g)과 "단순한 규칙"(K)은 어떻게 찾을까요?
• "DMD"는 관찰된 데이터(snapshots)를 이용해서 그 "단순한 규칙"(K)을 컴퓨터로 찾아내는 방법 중 하나예요.
• 하지만 DMD는 데이터가 이미 좀 단순한 공간에 있다고 가정해야 해서 한계가 있어요.
• 그래서 "Koopman Autoencoder (KAE)" 같은 더 발전된 방법이 나왔어요. 이건 AI의 일종인 autoencoder를 사용해서 데이터로부터 "마법 안경"(g)과 "단순한 규칙"(K)을 한꺼번에 똑똑하게 학습하는 방법이에요. 이 논문도 이런 방식을 활용하거나 더 발전시키려고 할 거예요.

3.3 Time Series as Dynamics (시간 순서 데이터를 움직임으로 보기)

• 시간 순서 데이터(time series)는 패턴이 계속 변해서(non-stationarity) 예측하기 어렵다고 했죠?
• 그런데 이 논문은 재밌는 관점을 제시해요. 아무리 전체적으로 복잡해 보이는 데이터라도, 아주 짧은 순간순간을 확대해서 보면 그 부분은 상대적으로 단순한 패턴(weak stationarity)을 보일 수 있다는 거예요.
• 이건 Koopman theory에서 말한, "전체 공간을 여러 개의 작은 동네(neighborhoods)로 나누고, 각 동네마다 다른 단순한 규칙(localized linear operators)을 적용할 수 있다"는 아이디어와 잘 맞아요.
• 그래서 이 논문은, 시간 순서 데이터를 이렇게 "잘 변하지 않는 큰 흐름(time-invariant)"과 "시간에 따라 민감하게 변하는 부분(time-variant)"으로 나누고, 각각에 맞는 Koopman 규칙(globally learned 또는 localized Koopman operators)을 적용해서 예측하려는 전략을 세우고 있어요.
• "Wold’s Theorem"이라는 수학 정리도 이런 아이디어(데이터를 예측 가능한 부분과 예측 불가능해 보이지만 구조는 있는 부분으로 나눌 수 있다)를 뒷받침해준다고 언급하고요.

결국 이 섹션은 "Koopman theory라는 멋진 도구가 있고, 이걸 KAE 같은 AI 기술로 구현할 수 있어. 그리고 시간 데이터도 잘 살펴보면 Koopman 이론을 적용할 수 있는 구석이 있으니, 이걸 이용해서 non-stationarity 문제를 풀어볼 거야!"라고 말하는 부분입니다. 

 

 

 

 

4 Koopa

우리는 쌓을 수 있는 Koopa Blocks로 구성된 Koopa를 제안합니다 (Figure 2). 각 block은 input dynamics를 학습하고 예측을 위해 이를 앞으로 진행시킬 의무가 있습니다. 전체 measurement function space를 지배하는 하나의 통합된 operator를 찾는 데 어려움을 겪는 대신, 각 Koopa Block은 이전 block에서 fitted된 dynamics의 residual을 input으로 받아 계층적으로 operators를 학습하도록 권장됩니다.

Koopa Block 앞서 언급했듯이, non-stationary series forecasting을 위해서는 서로 다른 dynamics를 disentangle하고 적절한 operators를 채택하는 것이 필수적입니다. Figure 2에 제시된 제안된 block은 frequency domain statistics를 활용하여 time-variant 및 time-invariant components를 disentangle하는 Fourier Filter를 포함하고, 각각 Koopman embedding을 얻기 위해 두 가지 유형의 Koopman Predictor (KP)를 구현합니다. Time-invariant KP에서는 operator를 lookback-forecast windows로부터 globally learned되는 model parameter로 설정합니다. Time-variant KP에서는 series segments를 snapshots로 배열하여 lookback window 내에서 locallly analytical operator solutions이 계산됩니다. 구체적으로, b번째 block input X(b)를 [x1​,x2​,…,xT​]⊤∈RT×C로 공식화하며, 여기서 T와 C는 각각 lookback window 길이와 variate 수를 나타냅니다. 목표는 길이 H의 forecast window를 output하는 것입니다. 제안된 Fourier Filter는 각 block의 시작 부분에서 disentanglement를 수행합니다: Xvar(b)​,Xinv(b)​=FourierFilter(X(b)). (3) 각각의 KPs는 time-invariant input Xinv(b)​와 time-variant input Xvar(b)​로 예측을 수행하며, Time-variant KP는 동시에 fitted된 input X^var(b)​를 output합니다: Yinv(b)​=TimeInvKP(Xinv(b)​), X^var(b)​,Yvar(b)​=TimeVarKP(Xvar(b)​). (4) Lookback-window series의 엄격한 reconstruction을 위한 loss term을 도입하는 KAEs와 달리, 우리는 residual X(b+1)을 다음 block의 input으로 공급하여 corrective operator를 학습합니다. 그리고 model forecast Y는 모든 Koopa Blocks에서 수집된 예측된 components Yvar(b)​,Yinv(b)​의 합입니다: X(b+1)=Xvar(b)​−X^var(b)​, Y=∑(Yvar(b)​+Yinv(b)​). (5)

Fourier Filter Series components를 disentangle하기 위해, 우리는 서로 다른 기간에 반영된 globally shared 및 localized frequency spectrums를 찾기 위해 Fourier analysis를 활용합니다. 구체적으로, training set의 각 lookback window의 Fast Fourier Transform (FFT)을 미리 계산하고, 각 spectrum S={0,1,…,[T/2]}의 평균 amplitude를 계산한 후 해당 amplitude에 따라 정렬합니다. 상위 α 퍼센트를 Gα​⊂S의 subset으로 취하며, 이는 모든 lookback windows에서 공유되는 dominant spectrums를 포함하고 dataset 기저의 time-invariant dynamics를 나타냅니다. 그리고 나머지 spectrums는 서로 다른 기간의 varying windows에 대한 특정 요소입니다. 따라서, 우리는 spectrums S를 Gα​와 그 여집합 Gαˉ​로 나눕니다. training 및 inference 동안, FourierFilter(·)는 input X (block 첨자 생략)의 disentanglement를 다음과 같이 수행합니다: Xinv​=F−1(FilterGα​​(F(X))), Xvar​=F−1(FilterGαˉ​​(F(X)))=X−Xinv​, (6) 여기서 F는 FFT를 의미하고, F−1는 그 역변환이며, Filter(·)는 주어진 set으로 해당 frequency spectrums만 통과시킵니다. 우리는 disentangled된 series에서 temporal dependencies의 변화 정도를 계산하여 Section 5.2에서 제안된 Fourier Filter의 disentangling 효과를 검증합니다.

Time-invariant KP Time-invariant KP는 globally shared dynamics를 묘사하도록 designed되었으며, lookback window에서 forecast window로의 직접적인 transition을 F:Xinv​↦Yinv​로 발견합니다. 구체적으로, 우리는 실행 중인 window 쌍의 time-invariant components에 대한 공통 Koopman embedding을 학습하기 위해 Encoder : RT×C→RD와 Decoder : RD→RH×C 쌍을 도입하며, 여기서 D는 embedding dimension을 나타냅니다. data-driven measurement function에서 작업하면서, 우리는 각 Time-invariant KP에서 학습 가능한 parameter로 operator Kinv​∈RD×D를 도입하며, 이는 lookback 및 forecast window의 embedding Zback​,Zfore​∈RD를 실행 중인 snapshot 쌍으로 간주합니다. 절차는 Figure 3에 나와 있으며 TimeInvKP(·)는 다음과 같이 공식화됩니다: Zback​=Encoder(Xinv​), Zfore​=Kinv​Zback​, Yinv​=Decoder(Zfore​). (7)

Time-variant KP Time-variant dynamics가 지속적으로 변하기 때문에, 우리는 window 내의 localized snapshots를 활용하며, 이는 linearized될 가능성이 더 높은 temporal neighborhood를 구성합니다. semantic snapshots를 얻고 반복을 줄이기 위해, input Xvar​는 길이 S의 TS​개의 segments xj​로 나뉩니다: xj​=[x(j−1)S+1​,…,xjS​]⊤∈RS×C, j=1,2,…,T/S. (8) S가 T와 H로 나누어 떨어진다고 가정합니다; 그렇지 않으면 input을 padding하거나 output을 truncate하여 호환되도록 만듭니다. Time-variant KP는 localized dynamics를 묘사하는 것을 목표로 하며, 이는 관찰된 snapshots를 사용하여 segment-wise transition F:xt​↦xt+1​으로 분석적으로 나타납니다. 우리는 각 segment를 Koopman embedding zj​로 변환하기 위해 또 다른 Encoder : RS×C→RD 쌍과, fitted되거나 예측된 embedding z^j​를 다시 time segments x^j​로 변환하기 위해 Decoder : RD→RS×C를 활용합니다: zj​=Encoder(xj​), x^j​=Decoder(z^j​). (9) Snapshots collection Z=[z1​,…,zTS​​]∈RD×TS​가 주어지면, 우리는 eDMD를 활용하여 system을 앞으로 진행시키는 가장 적합한 matrix를 찾습니다. 다음과 같이 one-step operator approximation을 적용합니다: Zback​=[z1​,z2​,…,zTS​−1​], Zfore​=[z2​,z3​,…,zTS​​], Kvar​=Zfore​Zback†​, (10) 여기서 Zback†​∈R(TS​−1)×D는 lookback window embedding collection의 Moore–Penrose inverse입니다. 계산된 Kvar​∈RD×D는 windows에 따라 변하며 linear system으로서 local temporal variations를 분석하는 데 도움이 됩니다. 계산된 operator를 사용하여 fitted embedding은 다음과 같이 공식화됩니다: [z^1​,z^2​,…,z^TS​​]=[z1​,Kvar​z1​,…,Kvar​zTS​−1​]=[z1​,Kvar​Zback​]. (11) 길이 H의 prediction을 얻기 위해, 우리는 operator forwarding을 반복하여 HS​개의 predicted embedding을 얻습니다: z^TS​+t​=(Kvar​)tzTS​​, t=1,2,…,H/S. (12) 마지막으로, Decoder(·)에 의해 변환된 segments를 module outputs X^var​,Yvar​로 배열합니다. 전체 절차는 Figure 3에 나와 있으며 TimeVarKP(·)는 Equation 8–13으로 공식화될 수 있습니다. X^var​=[x^1​,…,x^TS​​]⊤, Yvar​=[x^TS​+1​,…,x^TS​+HS​​]⊤. (13)

Forecasting Objective Koopa에서 Encoder, Decoder 및 Kinv​는 학습 가능한 parameters이며, Kvar​는 즉석에서 계산됩니다(on-the-fly). 서로 다른 blocks에서 Koopman embedding consistency를 유지하기 위해, 우리는 Time-variant 및 Time-invariant KPs에서 Encoder, Decoder를 공유하며, 이들은 각각 ϕvar​ 및 ϕinv​로 공식화되고, parameter optimization을 위해 ground truth Ygt​와의 MSE loss를 사용합니다: argminKinv​,ϕvar​,ϕinv​​LMSE​(Y,Ygt​). (14) Reconstruction이 실패하면 prediction도 실패해야 한다는 가정에 기반한 단일 forecasting objective로 최적화합니다. 따라서 forecast discrepancy를 제거하는 것이 관찰된 dynamics를 fitting하는 데 도움이 됩니다.

 

 

4 Koopa 핵심 정리노트 (AI 연구자용)

Overall Architecture: Koopa

• Stackable Koopa Blocks (Figure 2 참조): 여러 개의 Koopa Block을 쌓아 계층적 학습 수행. 각 block은 이전 block에서 처리하고 남은 time-variant dynamics의 residual (X(b+1)=Xvar(b)​−X^var(b)​)을 입력으로 받아 점진적으로 dynamics를 학습 및 예측.
• Final Prediction: 모든 Koopa Blocks에서 나온 예측 (Yinv(b)​ 및 Yvar(b)​)들을 합산하여 최종 예측 Y 생성 (Y=∑(Yvar(b)​+Yinv(b)​)).
• Forecasting-centric: KAE와 달리 lookback window의 명시적인 reconstruction loss 항 없이, forecasting objective에 집중.

Koopa Block 내부 구성 및 핵심 메커니즘

1. Fourier Filter:
   • 역할: 각 block의 입력 X(b)를 frequency domain analysis를 통해 time-invariant component (Xinv​)와 time-variant component (Xvar​)로 disentangle. (Equation 3, 6)
   • 방식: Training set lookback window들의 FFT를 통해 얻은 평균 amplitude spectrum을 기준으로, 상위 α% 주파수(Gα​)는 Xinv​로, 나머지는(Gαˉ​) Xvar​로 분리.
2. Time-invariant Koopman Predictor (TimeInvKP):
   • 대상: Xinv​ (time-invariant component).
   • 목표: Globally shared, 안정적인 long-term dynamics 학습 및 예측 (Yinv​).
   • ** 핵심**:
     • Encoder가 Xinv​를 Koopman embedding Zback​으로 변환.
     • Kinv​∈RD×D: Globally learnable parameter인 Koopman operator. Zfore​=Kinv​Zback​. (Equation 7)
     • Decoder가 Zfore​를 Yinv​로 변환.
3. Time-variant Koopman Predictor (TimeVarKP):
   • 대상: Xvar​ (time-variant component).
   • 목표: Locally varying, short-term dynamics 학습. Fitted input X^var​ (residual 계산용) 및 예측 Yvar​ 출력.
   • 핵심:
     • Xvar​를 길이 S의 여러 segments xj​로 분할 (Equation 8).
     • Encoder가 각 segment xj​를 Koopman embedding zj​로 변환 (Equation 9).
     • Kvar​∈RD×D: 각 lookback window마다 eDMD를 사용하여 on-the-fly로 계산되는 local & adaptive Koopman operator. Kvar​=Zfore​Zback†​ (Equation 10). (Zback​,Zfore​는 segment embeddings의 집합).
     • Fitted lookback embeddings (z^j​) 및 predicted embeddings ($ \hat{z}_{T_S+t}$) 계산 후 Decoder로 변환하여 X^var​,Yvar​ 생성 (Equation 11-13).

Forecasting Objective 및 학습

• Learnable Parameters: Kinv​, 그리고 TimeInvKP와 TimeVarKP에서 공유되는 Encoders/Decoders (ϕinv​,ϕvar​). (Kvar​는 gradient descent로 학습되지 않음).
• Loss Function: 최종 예측 Y와 ground truth Ygt​ 간의 MSE loss (LMSE​(Y,Ygt​)) (Equation 14).
• 주요 특징:
  • 명시적인 disentanglement 단계 (Fourier Filter).
  • 두 종류의 KP (global/learnable Kinv​ vs. local/analytical Kvar​)를 통한 이중적 dynamics 처리.
  • Residual learning을 통한 계층적 정제 (X(b+1)).
  • 최종 예측 Y에 대한 end-to-end 학습.

---

쉬운 설명 : "4 Koopa" 섹션

이 "Koopa" 섹션에서는 논문 저자들이 제안하는 새로운 예측 모델 "Koopa"가 어떻게 작동하는지 자세히 설명하고 있어요. Koopa는 마치 여러 단계에 걸쳐 일하는 전문가 팀과 같아요.

Koopa 모델의 전체 작동 방식:

Koopa는 여러 개의 "Koopa Block"이라는 작업 단위를 차례대로 연결해서 사용해요. 각 Block은 이전 Block이 해결하고 남은 더 까다로운 부분을 이어받아 처리하는 방식으로, 점점 더 정확한 예측을 하려고 노력해요. 마지막에는 모든 Block이 내놓은 예측들을 합쳐서 최종 예측 결과를 만들죠.

하나의 "Koopa Block" 안에서는 무슨 일이 일어날까요?

각 Koopa Block은 마치 세 명의 전문가가 협력하는 작은 팀 같아요.

1. 분류 전문가 (Fourier Filter):
   • 먼저 데이터가 들어오면, 이 전문가는 주파수 분석이라는 기술(FFT)을 사용해서 데이터의 성격을 두 가지로 나눠요.
     • 잘 변하지 않는 큰 흐름 (time-invariant component): 마치 계절 변화처럼 장기적이고 안정적인 패턴이에요.
     • 빠르게 변하는 부분 (time-variant component): 일시적인 유행이나 갑작스러운 사건처럼 짧은 기간 동안 나타났다가 사라지는 변덕스러운 패턴이죠.
2. 장기 추세 분석가 (Time-invariant KP):
   • 분류 전문가가 찾아낸 "잘 변하지 않는 큰 흐름" 데이터를 받아서 처리해요.
   • 이 분석가는 오랫동안 변하지 않는 패턴에 적용할 수 있는 **일관된 예측 규칙(Kinv​)**을 미리 학습해 둬요. 그리고 이 규칙을 사용해서 앞으로의 큰 흐름을 예측(Yinv​)해요.
3. 단기 변동 해결사 (Time-variant KP):
   • 분류 전문가가 찾아낸 "빠르게 변하는 부분" 데이터를 받아서 처리해요.
   • 이 해결사는 상황이 계속 변하기 때문에, 미리 정해진 규칙을 쓰지 않아요. 대신, **현재 들어온 데이터의 특징을 빠르게 파악해서 그 순간에만 맞는 임시 예측 규칙(Kvar​)**을 즉석에서 만들어내요.
   • 이 임시 규칙을 사용해서 앞으로의 단기 변동을 예측(Yvar​)하고, 동시에 "이만큼은 내가 설명했어!"라는 의미로 자신이 처리한 부분(X^var​)을 알려줘요.

팀워크와 학습:

• 단계별 처리: 한 Koopa Block에서 "단기 변동 해결사"가 처리하고 남은 찌꺼기(residual)는 다음 Koopa Block으로 넘어가서 다시 이 과정을 반복해요. 이렇게 여러 단계를 거치면서 예측이 정교해져요.
• 최종 예측: 모든 Koopa Block의 "장기 추세 분석가"와 "단기 변동 해결사"가 내놓은 예측들을 모두 합쳐서 최종 예측값을 만들어요.
• 학습 목표: Koopa 팀 전체는 이 최종 예측값이 실제 정답에 최대한 가까워지도록 학습해요(MSE loss 최소화). "장기 추세 분석가"의 규칙(Kinv​)과 데이터를 변환하는 방법(Encoder/Decoder)등을 이 목표에 맞춰 조절해나가죠.

결국 Koopa는 데이터를 체계적으로 분해하고, 각 부분의 성격에 맞는 다른 Koopman 예측 방식을 적용하며, 여러 단계를 통해 예측을 개선해나가는 똑똑한 예측 모델이라고 할 수 있어요. 특히, 기존 방법들과 달리 예측 자체에만 집중해서 학습하는 점이 특징입니다.

 

 

 

 

 

주인장 이해

 

1. 데이터가 들어오면 Fourier Filter를 통과해서, 전역적인 패턴을 가진 성분과 지역적인 패턴을 가진 성분으로 분리.
1- time-invariant 성분과 time-variant 성분으로 나뉘는 것
2. 두개의 분리된 성분은 Koopman Predictor 로 들어가게됨. 각각 다르게 처리되어 Koopman embedding으로 처리됨.
Time-invariant Koopman embedding은 Time-invariant KP 내부에서 학습된 K_inv라는 operator 에 의해 임베딩
Time-variant Koopman embeddings는  Time-variant KP 내부에서 즉석으로 계산되는 K_var 에 의해  fitted embedding 및 예측 embeddings 으로.


Kinv가 핵심임. z에서 미래 z로 가는 변환을 배우게 되는 것임.

 

미래z의 유사 역행렬을 통해 과거 z와 유사미래z의 곱으로 X_var을 계산해내고 (평균적인 X_var를 사용하게됨)

그걸가지고 미래 Z를 예측할 수 있는 것임.