TimeDART: A Diffusion Autoregressive Transformer for Self-Supervised Time Series Representation

쉬운 설명 (Easy Explanation)

TimeDART는 시간 순서대로 진행되는 이야기(time series)를 아주 잘 이해하는 똑똑한 AI를 만드는 방법과 같습니다.

1. 이야기의 큰 흐름 파악 (Autoregressive Causal Transformer): AI는 이야기의 앞부분부터 차근차근 읽으면서 전체적인 줄거리와 등장인물들의 관계 변화 같은 큰 흐름(global trends)을 파악합니다. 이때, 아직 읽지 않은 뒷부분 내용은 보지 않고(causal) 순서대로만 이해하려고 노력합니다.
2. 이야기의 세부 묘사 다듬기 (Patch-level Denoising Diffusion): 이야기를 작은 단락(patch)들로 나눕니다. 그리고 각 단락에 일부러 약간의 오타나 어색한 문장(noise)을 집어넣습니다. AI는 이렇게 망가진 단락을 보고, 앞서 파악한 전체 줄거리(causal encoder output)를 참고하여 원래의 매끄러운 문장(fine-grained local patterns)으로 복원하도록 훈련받습니다. 각 단락마다 독립적으로 이 작업을 수행합니다.

TimeDART는 이 두 가지 작업을 동시에, 그리고 시간 순서대로(autoregressive) 진행함으로써 이야기의 큰 흐름과 세부 묘사를 모두 깊이 있게 이해하는 능력을 갖추게 됩니다. 이를 통해 다양한 이야기 관련 문제(forecasting, classification)를 더 잘 해결할 수 있게 됩니다.

 

 

TimeDART 학습 노트

용어 설명 (Glossary)

• TimeDART: 이 논문에서 제안하는 diffusion autoregressive Transformer 모델.
• Self-supervised learning (SSL): Labeled data 없이 데이터 자체의 구조를 활용하여 representation을 학습하는 방법.
• Causal Transformer Encoder: Attention mechanism 사용 시, 현재 time step이 미래 time step의 정보를 볼 수 없도록 mask 처리된 Transformer encoder. 시간의 흐름(왼쪽에서 오른쪽)을 모델링.
• Patch-based embedding: Time series를 일정한 길이의 연속적인 segment (patch)로 나누어 각각을 embedding 하는 방식.
• Denoising Diffusion Process: Forward process에서 데이터에 점진적으로 noise를 추가하고, reverse process에서 noise를 제거하여 원본 데이터를 복원하도록 학습하는 생성 모델.
• Autoregressive manner/optimization: 이전 time-step들의 정보를 바탕으로 현재 또는 다음 time-step을 예측/생성하는 방식.
• Instance Normalization: 각 time series instance(sample)별로 독립적으로 평균을 0, 분산을 1로 정규화하는 기법.
• Non-overlapping patches: Patch들이 서로 시간적으로 겹치지 않도록 설정. (Patch length = stride)
• Cosine Noise Scheduler: Diffusion model의 forward process에서 noise를 추가할 때, noise level을 cosine 함수 형태로 스케줄링하는 방식. Linear scheduler보다 부드러운 transition 제공.
• ELBO (Evidence Lower Bound): Diffusion model 등 variational inference 기반 모델의 학습 목표 함수.
• Self-only mask (in decoder): Denoising decoder에서 j-번째 noisy patch의 embedding (query)은 오직 j-번째 encoder output (key/value)에만 attend 하도록 하는 mask. 각 patch를 독립적으로 denoising.
• Look-back Window: 예측을 위해 사용하는 과거 데이터의 길이.
• Predicted Window: 예측하고자 하는 미래 데이터의 길이.
• Channel-independent configuration: Multivariate time series에서 각 channel을 독립적인 univariate series로 취급하여 모델링하는 방식.

Purpose of the Paper

• 기존 연구의 한계 극복:
  • 기존 self-supervised time series representation learning 방법들은 **long-term dynamic evolution (전체적인 추세)**과 **subtle local patterns (국소적 미세 패턴)**을 하나의 통합된 방식으로 포괄적으로 포착하는 데 어려움이 있었음.
  • Autoregressive 방법은 전역적 추세에 강하지만 noise 및 anomaly에 overfitting 되기 쉽고 error가 누적되는 경향이 있음.
  • Diffusion model은 국소적 패턴에 강하지만, global dependency를 충분히 고려하지 못하고 local structure에 과도하게 집중할 수 있음.
• 새로운 접근 방식 제시:
  • TimeDART는 autoregressive modeling의 장점(global dynamics)과 denoising diffusion process의 장점(local pattern refinement)을 결합하여, 두 가지 강력한 generative paradigm을 통합함으로써 더욱 transferable한 representation을 학습하고자 함.
  • Autoregressive 최적화 과정에 diffusion 및 denoising 과정을 명시적으로 도입하여, pre-training의 난이도를 높이고 데이터 다양성을 확보하며, noise로부터 유용한 정보를 학습하도록 유도.

Key Contributions & Novelty

• Contribution 1: TimeDART라는 새로운 self-supervised time series pre-training framework 제안.
  • Novelty: Autoregressive modeling과 denoising diffusion process라는 두 가지 강력한 generative paradigm을 time series representation learning을 위해 통합한 최초의 시도 중 하나. Diffusion process를 autoregressive loop 내의 patch-level refinement 메커니즘으로 활용.
• Contribution 2: Causal Transformer encoder와 patch-based embedding 전략을 사용하여 global, left-to-right evolving trends를 모델링하고, 여기에 patch-level denoising diffusion process를 도입하여 fine-grained local patterns를 포착.
  • Novelty: 각 patch에 독립적으로 noise를 추가하고 (정보 과잉 단순화 방지), causal encoder의 이전 patch 정보를 활용하는 cross-attention 기반 denoising decoder를 통해 local detail을 복원. 이 과정에서 clean patch와 noisy patch가 동일한 embedding layer와 positional encoding을 공유.
• Contribution 3: 전체 모델을 autoregressive 방식으로 최적화.
  • Novelty: Diffusion loss (ELBO)를 autoregressive optimization objective에 통합하여, global context를 유지하면서 local-level의 세밀한 feature 학습을 동시에 수행.
• Contribution 4: Time series forecasting 및 classification task의 9개 public dataset에서 기존 SOTA 방법들을 일관되게 능가하는 성능 달성.
  • Novelty: 상대적으로 단순한 vanilla Transformer backbone을 사용했음에도 불구하고, 제안된 pre-training 전략의 효과성을 입증.

Experimental Highlights

• Datasets:
  • Forecasting: ETT (ETTh1, ETTh2, ETTm1, ETTm2), Electricity, Traffic, Weather, Exchange, PEMS (PEMS03, PEMS04, PEMS07, PEMS08)
  • Classification: HAR, Epilepsy, EEG
• Metrics:
  • Forecasting: MSE, MAE
  • Classification: Accuracy (Acc.), F1-score
• Baselines (Self-Supervised): CoST, SimMTM, TimeMAE, PatchTST-SSL
• Baselines (Supervised): PatchTST, DLinear (forecasting), FormerTime (classification)
• Key Result 1 (Overall Performance): Figure 3에서 TimeDART는 forecasting (낮은 MSE)과 classification (높은 Accuracy) 모두에서 다른 baseline들보다 우수한 평균 성능을 보임.
• Key Result 2 (In-domain Forecasting): Table 2에서 TimeDART는 대부분의 dataset과 metric에서 SOTA를 달성. 예를 들어, ETTm2에서 MSE 0.257, MAE 0.316으로 Random Init. (0.269, 0.323) 및 다른 SSL/Supervised 모델들보다 우수.
• Key Result 3 (Ablation Study - Table 6):
  • Autoregressive mechanism 제거 (w/o AR): 성능 크게 하락 (e.g., ETTm2 MSE 0.257 → 0.271). Long-term dynamic 포착에 중요.
  • Denoising diffusion process 제거 (w/o Diff): 성능 하락 (e.g., ETTh2 MSE 0.346 → 0.352). Subtle local pattern 포착에 중요.
  • 두 모듈 모두 제거 시 (w/o AR-Diff): 성능이 Random Init. 보다도 나빠지는 경우 발생. 두 구성 요소 모두 필수적임을 시사.
• Key Result 4 (Hyperparameter Sensitivity):
  • Noise Scheduler (Table 7): Cosine scheduler가 Linear scheduler보다 일관되게 좋은 성능을 보임.
  • Masking Strategies for Denoising Decoder (Figure 4): Self-Only Mask (각 noisy patch는 오직 자신에 해당하는 encoder output만 참조)가 가장 좋은 성능을 보임. Causal encoder가 이미 이전 patch들의 정보를 집약하고 있기 때문.
  • Patch Length (Figure 5): Dataset 특성에 따라 최적의 patch length가 다름 (e.g., Electricity는 긴 patch, 다른 데이터는 짧은 patch 선호).

Limitations and Future Work

• Limitations:
  • 논문에서 명시적으로 큰 한계점을 지적하고 있지는 않으나, hyperparameter (e.g., patch length, denoising decoder layer 수)에 대한 민감도가 존재하여 dataset별 튜닝이 필요할 수 있음.
  • 제안된 모델의 이론적 분석 (e.g., 왜 이 두 가지 패러다임의 결합이 효과적인지에 대한 더 깊은 통찰)은 상대적으로 부족.
• Future Work (논문에서 직접 언급되지는 않았으나 추론 가능):
  • 더 다양한 time series domain과 task에 TimeDART의 적용 가능성 탐색.
  • Vanilla Transformer 이외의 다른 backbone architecture (e.g., Mamba)와의 결합 연구.
  • Diffusion process와 autoregressive modeling을 통합하는 더 정교한 방식 연구.
  • Pre-training의 효율성 및 scalability 향상 방안 연구.

Overall Summary

TimeDART는 self-supervised time series representation learning을 위한 혁신적인 pre-training framework이다. 이 모델은 causal Transformer encoder를 통한 global trend 모델링과 patch-level denoising diffusion process를 통한 fine-grained local pattern 포착이라는 두 가지 강력한 generative paradigm을 autoregressive objective 하에 통합한다. 광범위한 실험을 통해 TimeDART는 기존의 SOTA 방법들을 능가하는 성능을 일관되게 보여주었으며, 이는 long-term dynamic과 subtle local feature를 동시에 효과적으로 학습하는 능력 덕분이다. 이 연구는 self-supervised time series representation learning 분야에 새로운 방향을 제시하며 향후 연구의 중요한 기반이 될 수 있다.

 

1. Introduction

Time-series data의 analysis는 healthcare, finance 및 energy management를 포함한 다양한 application domains에서 점점 더 중요해지고 있습니다. 이러한 시나리오에는 종종 방대한 양의 unlabeled real-world data가 포함됩니다. 이러한 data를 analysis하고 활용하기 위해 self-supervised learning이 널리 채택되는 approach로 부상했습니다. 이 method는 풍부한 unlabeled data에서 귀중한 knowledge를 추출하며, 이는 이후 downstream task performance를 향상시키기 위해 transfer될 수 있습니다.

이전 연구들을 검토해보면, 기존 methods는 주로 세 가지 범주로 나뉩니다. 첫 번째 범주는 masked autoencoders로, input의 masked 또는 corrupted 부분을 reconstructing하는 데 중점을 두며 time series의 기본 patterns을 learning하는 데 뛰어납니다. 또한, TimeMAE는 새로 주입된 masked embeddings로 인해 발생하는 pre-training과 fine-tuning 간의 불일치를 완화하기 위해 제안되었습니다. 두 번째 범주인 Contrastive-based methods는 sequence-level modeling에 특화되어 있으며 유사하거나 유사하지 않은 time-series segments를 구별합니다. 그럼에도 불구하고, sequence-level modeling에 대한 강조는 fine-grained temporal variations을 capture하는 능력을 제한할 수 있습니다. 세 번째 범주는 autoregressive methods로, 왼쪽에서 오른쪽으로의 sequential relationships을 modeling하는 데 적합하며 유망한 scale-up potential을 가지고 있습니다. 그러나 autoregressive methods는 time series의 noise와 anomalies에 overfit하는 경향이 있어 error accumulation을 악화시키며, 이는 self-supervised representation learning에서 이러한 methods에 대한 강조가 제한적인 이유를 설명하는 데 도움이 될 수 있습니다.

우리는 이상적인 self-supervised approach가 앞서 언급한 challenges, 즉 long-term dynamic evolution과 미묘한 local patterns을 통합된 방식으로 동시에 capture하는 것을 해결해야 한다고 주장합니다. Autoregressive-based self-supervised learning은 time series의 자연스러운 왼쪽에서 오른쪽으로의 trend와 잘 부합하지만, data의 일반적인 noise와 anomalies에 overfit하기 쉽습니다. 이러한 문제를 해결하기 위해, 우리는 autoregressive optimization에서 diffusion 및 denoising process를 명시적으로 도입하여 data diversity를 향상시키고 pre-training difficulty를 높입니다. 이 design은 model이 autoregressive pre-training 중에 noise로부터 유용한 information을 learn하도록 강제하는 동시에 diffusion models이 global dependencies를 희생하면서 local structures를 지나치게 강조하는 문제를 방지합니다.

위의 analysis를 바탕으로, 그림 1에 설명된 바와 같이 보다 transferable representations을 learn하기 위해 두 가지 강력한 generative paradigms을 통합하는 새로운 self-supervised time series representation framework인 TimeDART를 제안합니다. 구체적으로, 우리는 vanilla Transformer encoder를 initialize하고 input time-series data를 non-overlapping patches로 분할합니다. Autoregressive optimization 중 information leakage를 방지하기 위해 encoder 내에 causal mask를 적용합니다. Encoder output과 original patches 간의 차이를 직접 optimize하는 대신, 각 patch에 독립적으로 noise를 추가하고 preceding sequence information을 활용하여 denoising을 guide하는 cross-attention-based denoising network를 사용합니다. 이 design을 통해 TimeDART는 global 및 local sequence features를 일관된 방식으로 효과적으로 capture하여 downstream forecasting 및 classification tasks에 대한 9개의 publicly available datasets에서 우수한 performance를 달성할 수 있습니다.

• We propose TimeDART, a novel self-supervised time series representation framework that unifies autoregressive modeling and denoising diffusion processes to learn more transferable representations.
• We introduce a causal Transformer encoder, coupled with carefully noise addition and denoising, empowering TimeDART to effectively model long-term dynamic evolution and subtle local patterns.
• TimeDART consistently outperforms state-of-the-art baselines across nine public datasets, demonstrating strong adaptability across diverse downstream tasks.

 

 

 

정리노트: 1. Introduction (AI 연구자용)

핵심 문제 제기: 기존 time-series data 대상 self-supervised learning 방법론들은 long-term dynamic evolution과 미묘한 local patterns을 통합적으로 동시에 capture하는 데 한계가 있음.

기존 방법론 검토 및 한계점:

1. Masked Autoencoders: Input의 masked/corrupted 부분 복원에 초점. Time series의 underlying patterns 학습에 강점. (예: TimeMAE - pre-training과 fine-tuning 간 불일치 완화 시도)
2. Contrastive-based Methods: Sequence-level modeling에 특화. 유사/비유사 time-series segments 구분에 강점. 그러나 fine-grained temporal variations capture 능력 제한 가능성.
3. Autoregressive Methods: Left-to-right sequential relationships modeling에 적합, scale-up 잠재력 우수. 그러나 time series 내 noise 및 anomalies에 overfit하는 경향, error accumulation 심화 문제로 self-supervised representation learning에서 제한적 활용.

제안 방법론: TimeDART의 핵심 아이디어 및 접근 방식

• 목표: 두 가지 강력한 generative paradigms (autoregressive modeling + denoising diffusion process)를 통합하여 더욱 transferable representations 학습.
• 핵심 주장: 이상적인 self-supervised approach는 long-term dynamic evolution과 subtle local patterns을 통합적으로 포착해야 함. Autoregressive 방식은 time series의 자연스러운 흐름과 맞지만 noise/anomalies에 취약. 이를 해결하기 위해 autoregressive optimization 과정에 diffusion 및 denoising process를 명시적으로 도입.
  • 이를 통해 data diversity 향상 및 pre-training difficulty 증가.
  • Model이 autoregressive pre-training 중 noise로부터 유용한 information을 학습하도록 강제.
  • Diffusion models이 global dependencies를 희생하며 local structures를 과도하게 강조하는 문제 방지.
• TimeDART 구성:
  1. Vanilla Transformer encoder 사용, input time-series data를 non-overlapping patches로 분할.
  2. Autoregressive optimization 중 information leakage 방지를 위해 encoder 내 causal mask 적용.
  3. Encoder output과 original patches 간 차이를 직접 optimize하는 대신, 각 patch에 독립적으로 noise 추가.
  4. Cross-attention-based denoising network 사용: Preceding sequence information을 활용하여 denoising guide.
• 결과: Global 및 local sequence features를 일관되게 효과적으로 capture.

주요 기여 (Contributions):

• TimeDART 제안: Autoregressive modeling과 denoising diffusion process를 통합한 새로운 self-supervised time series representation framework로, 더 transferable representations 학습 가능.
• Causal Transformer encoder + 정교한 noise addition/denoising: Long-term dynamic evolution과 subtle local patterns을 효과적으로 model.
• SOTA 성능: 9개 public datasets에서 기존 state-of-the-art baselines 대비 우수한 성능 시현, 다양한 downstream tasks에 대한 강력한 adaptability 입증 (forecasting 및 classification).

---

쉬운 설명: 1. Introduction

Time-series data가 뭔가요? 시간 순서대로 기록된 데이터예요. 예를 들어 주식 가격 변화, 날씨 변화, 우리 몸의 심박수 변화 같은 것들이죠. 이런 데이터는 병원, 금융, 에너지 관리 등 정말 많은 곳에서 중요하게 쓰여요.

데이터는 많은데, 뭐가 문제죠? 이런 time-series data는 엄청나게 많지만, 대부분 데이터에 "이건 이런 뜻이야"라고 이름표(label)가 붙어있지 않아요 (unlabeled data). 그래서 이 unlabeled data에서 뭔가 유용한 정보를 뽑아내기가 어렵죠.

Self-supervised learning이 뭐길래? Self-supervised learning은 이렇게 이름표 없는 data로부터 스스로 학습하는 방법이에요. 데이터의 일부를 가리고 맞추게 하거나, 비슷한 데이터끼리 묶어보는 식으로 컴퓨터가 데이터의 특징(representation)을 배우게 하는 거죠. 이렇게 배운 특징은 나중에 forecasting(미래 예측)이나 classification(분류) 같은 특정 작업(downstream task)을 더 잘하게 도와줘요.

기존 방법들의 아쉬운 점은? 기존의 self-supervised learning 방법들은 몇 가지 아쉬운 점이 있었어요.

1. Masked Autoencoders: 데이터의 일부를 가리고, 가려진 부분을 잘 복원하도록 학습해요. 데이터의 숨겨진 패턴을 잘 배우지만, pre-training 때와 실제 사용할 때(fine-tuning) 방식이 달라서 생기는 문제가 있기도 했어요.
2. Contrastive-based methods: 비슷한 데이터는 가깝게, 다른 데이터는 멀게 만들도록 학습해요. 데이터 전체(sequence-level)를 보는 건 잘하지만, 아주 세밀한 시간적 변화(fine-grained temporal variations)는 놓칠 수 있어요.
3. Autoregressive methods: 마치 우리가 글을 읽듯이, 앞에서부터 순서대로 데이터를 예측하며 학습해요. 시간의 흐름을 따라가는 건 잘하지만, 데이터에 섞인 작은 오류(noise)나 이상한 값(anomalies)에 너무 민감하게 반응해서 학습을 망치거나 오류가 점점 커질 수 있었어요.

이 논문이 제안하는 TimeDART는 뭐가 다른가요? 이 논문에서는 "TimeDART"라는 새로운 self-supervised learning 방법을 제안해요. TimeDART의 핵심 아이디어는 두 가지 좋은 학습 방식을 합쳐서 time-series data의 큰 흐름(long-term dynamic evolution)과 작은 부분의 미세한 특징(subtle local patterns)을 동시에 잘 파악하자는 거예요.

어떻게 하냐면요:

1. 먼저, causal Transformer encoder라는 똑똑한 도구를 써서 시간의 흐름에 따라 데이터가 어떻게 변하는지 전체적인 경향을 파악해요 (왼쪽에서 오른쪽으로, 즉 과거에서 현재로). 이때 데이터 유출(information leakage)을 막기 위해 causal mask를 사용해요.
2. 그다음, 데이터의 작은 조각(patch)들에 일부러 약간의 noise(흐릿하게 만드는 것)를 섞어요. 그리고 이 noise 섞인 데이터를 다시 깨끗하게 복원(denoising)하도록 학습시켜요. 이 과정을 denoising diffusion process라고 하는데, 이렇게 하면 모델이 아주 작은 국소적인 패턴까지 잘 배우게 돼요. 특히, 이전 시간의 정보를 활용해서(cross-attention) 복원하도록 해서 더 똑똑하게 만들죠.
3. 이 두 가지 (전체 흐름 파악 + 작은 부분 noise 제거 학습)를 autoregressive 방식으로, 즉 순차적으로 최적화해요.

TimeDART의 장점은? 이렇게 하면 TimeDART는 데이터의 큰 그림과 세부적인 특징을 모두 잘 이해하는 representation을 학습할 수 있어요. 기존 방법들이 한쪽에 치우치거나 noise에 약했던 문제를 개선한 거죠. 실제로 9개의 공개된 데이터셋(public datasets)으로 실험해 보니, 기존의 최고 성능 방법들보다 더 좋은 결과를 보여줬다고 해요. 특히 미래 값을 예측(forecasting)하거나 데이터를 종류별로 분류(classification)하는 작업에서요!

 

 

 

2. Related Work

2.1. Self-supervised Learning in Time Series.

Self-supervised learning은 natural language processing 및 computer vision과 같은 분야에서 강력한 pre-training approach가 되었습니다. Labeled data에 의존하는 supervised learning과 달리, self-supervised methods는 종종 pretext tasks를 통해 data 자체의 structure에서 supervision을 generate합니다. Time series에서 self-supervised learning은 data의 sequential 및 temporal 특성으로 인해 고유한 challenges에 직면합니다. 현재 approaches는 크게 masked autoencoders, contrastive learning, autoregressive methods의 세 가지 주요 paradigms으로 분류될 수 있습니다.

Masked Autoencoders Self-supervised representation learning의 기본적인 approach인 mask autoencoders는 일반적으로 masked되거나 corrupted된 inputs을 reconstructing하여 model이 의미 있는 representations을 학습하도록 권장합니다. TST에 의해 소개된 Masked time series modeling은 사용 가능한 data로부터 누락된 time points를 predicts합니다. STEP, PatchTST, CrossTimeNet과 같은 Methods는 sub-series에 대해 작동하여 local information을 capture하면서 computational costs를 줄이는 방식으로 이 approach를 확장합니다. TimeMAE와 같은 보다 최근 연구는 pre-training 단계와 fine-tuning 단계 간의 inconsistencies를 해결하기 위해 decoupled masked autoencoders를 도입합니다. 또한 SimMTM은 data의 manifold structure를 활용하여 neighbors의 weighted aggregation을 통해 누락된 time points를 recovering함으로써 masked time-series modeling을 개선합니다.

Contrastive Learning 이 approach는 유사한 instances를 더 가깝게 만들고 유사하지 않은 instances를 멀리 밀어냄으로써 positive instance pairs와 negative instance pairs를 구별하는 것을 목표로 합니다. 예를 들어, TNC는 time series signals의 local smoothness를 사용하여 positive neighborhoods를 정의하는 반면, TS2Vec은 instance 및 patch levels 모두에서 작동하는 hierarchical framework를 도입합니다. 유사하게, LaST는 latent space 내에서 time series data의 seasonal 및 trend components를 분리하는 것을 목표로 합니다. CoST는 time 및 frequency domain information을 모두 결합하여 seasonal 및 trend representations을 capture하고, 학습된 features의 discriminative power를 향상시킵니다.

Autoregressive Methods Time series에서 autoregressive methods는 autoregressive (AR) model과 moving average (MA) model을 differencing과 결합한 ARIMA에서 시작되었습니다. 이후 RNNs의 부상과 함께 THOC는 Temporal Self-Supervision이라는 multi-resolution single-step forecasting을 위한 self-supervised pretext task를 도입했습니다. 최근 pre-trained large language models의 영향을 받아 time series에서 autoregressive models의 잠재력이 주목받고 있으며, 이들의 generalization ability와 task versatility를 활용하고 있습니다. 이러한 language models은 심지어 arbitrary input-output mappings를 달성하기 위해 autoregressive predictors로 채택되기도 했습니다. 그럼에도 불구하고 time series representation learning 및 다양한 downstream tasks에서 autoregressive methods의 완전한 잠재력은 아직 발견되지 않았습니다. 이러한 격차를 해소하기 위해 TimeDART는 pretraining 중에 autoregressive optimization을 사용하여 time series representations을 개선하고 downstream tasks 전반에 걸쳐 강력한 performance를 가능하게 합니다.

2.2. Diffusion Models in Time Series.

최근 몇 년 동안, Denoising Diffusion Probabilistic Models는 fine-grained temporal modeling에서의 독특한 장점으로 인해 time series modeling을 위한 강력한 tools가 되었습니다. CSDI와 같은 초기 models는 추가적인 input masking을 통합하면서 autoregressive inference를 피했습니다. TimeGrad는 Langevin sampling을 사용한 autoregressive denoising을 도입하여 multivariate prediction을 향상시켰습니다. 보다 최근에는 TimeDiff와 같은 conditional diffusion models이 denoising process를 guide하기 위해 external information을 활용하여 time series prediction을 개선했습니다.

그러나 이러한 methods는 주로 probabilistic time series prediction tasks에 초점을 맞추어 high-quality time series data를 generate하는 것을 목표로 하지만, time series forecasting과 같은 downstream tasks에 직접 적용하면 종종 차선의 결과를 낳습니다. TimeDART는 self-supervised framework 내에 denoising diffusion process를 독특하게 통합하여 time series data의 미묘한 local patterns을 보존하는 inner-patch modeling을 가능하게 합니다.

정리노트: 2. Related Work (AI 연구자용)

섹션 목표: Time series 분야의 기존 self-supervised learning (SSL) 방법론 및 diffusion models 연구 동향을 검토하고, 이들의 한계점을 지적하여 TimeDART 제안의 당위성을 설명.

2.1. Self-supervised Learning in Time Series

• 주요 SSL Paradigms 및 한계:
  • Masked Autoencoders (예: TST, PatchTST, TimeMAE, SimMTM): Masked input 복원 방식.
    • TimeMAE: Pre-training과 fine-tuning 간의 inconsistency 문제 해결 시도.
    • SimMTM: Manifold structure 활용, neighbors 가중합으로 복원.
    • TimeDART와의 연관성: TimeDART도 local patterns을 다루지만, 이를 autoregressive + diffusion 통합 프레임워크 내에서 다른 방식으로 접근.
  • Contrastive Learning (예: TNC, TS2Vec, LaST, CoST): Positive/negative instance pairs 구별. Instance/patch level 유사도 학습 또는 seasonal/trend components 분리.
    • TimeDART와의 연관성: TimeDART는 단순한 discriminative features 학습을 넘어, 보다 포괄적이고 transferable representations 학습 목표.
  • Autoregressive Methods (예: ARIMA, THOC, LLM-inspired 접근법): 순차적 예측 기반. Sequential 특성 및 scaling에 강점.
    • 한계: Error accumulation 가능성, time series representation learning 및 다양한 downstream tasks에서의 잠재력 미탐구.
    • TimeDART의 차별점: Autoregressive optimization을 pre-training의 핵심으로 활용하되, diffusion process를 결합하여 기존 autoregressive 방식의 한계(예: noise overfitting)를 극복하고 representation quality 향상에 초점. 이것이 기존 연구와 대비되는 핵심.
• TimeDART의 포지셔닝: Autoregressive methods의 잠재력은 인정하지만, representation learning에서의 활용이 부족했다고 지적. TimeDART는 pre-training 시 autoregressive optimization을 통해 time series representations을 개선하여 downstream tasks 성능을 높이는 것을 목표로 함.

2.2. Diffusion Models in Time Series

• Diffusion Models의 강점 및 주요 연구 (예: CSDI, TimeGrad, TimeDiff):
  • Denoising Diffusion Probabilistic Models (DDPMs)는 fine-grained temporal modeling 및 high-quality time series data generation에 강력함.
  • CSDI: Autoregressive inference 회피.
  • TimeGrad: Autoregressive denoising 도입.
  • TimeDiff: Conditional diffusion (external information 활용).
• Downstream Tasks 적용 시 한계점:
  • 주로 probabilistic time series prediction/generation에 집중되어 있어, forecasting과 같은 downstream tasks에 직접 적용 시 suboptimal한 결과 초래 가능성.
• TimeDART의 독창적 통합 방식:
  • TimeDART는 denoising diffusion process를 self-supervised framework 내에 독특하게 통합.
  • 목표는 전체 series generation이 아니라, representation learning 과정에서 inner-patch modeling을 통해 미묘한 local patterns을 보존하는 것.
  • 이는 diffusion model을 representation learning의 도구로 활용하여, 기존 diffusion model들이 downstream task에 직접 적용될 때 갖는 한계를 극복하려는 시도임.

---

쉬운 설명: 2. Related Work

"Related Work (관련 연구)"가 뭔가요? 어떤 새로운 연구 결과를 발표하기 전에, "이 분야에서 다른 사람들은 이미 어떤 연구들을 해왔고, 어떤 방법들을 사용했으며, 거기에는 어떤 장단점이 있었는지"를 살펴보는 부분이에요. 일종의 배경 조사 같은 거죠. 이걸 통해 새 연구가 왜 필요하고, 기존 방법들과 비교해서 뭐가 더 좋은지를 알 수 있어요.

2.1. Self-supervised Learning in Time Series (시간 순서 데이터에서 스스로 학습하기)

과학자들은 컴퓨터가 이름표(label) 없는 시간 순서 데이터(time series data)로부터 스스로 뭔가를 배우게 하려고 여러 가지 방법들을 시도해왔어요.

• Masked Autoencoders (가리고 맞추기): 마치 우리가 문장에서 빈칸을 채우듯이, 컴퓨터에게 데이터의 일부를 가리고 그 부분을 맞추게 하는 방법이에요. 이렇게 하면 컴퓨터가 데이터의 전체적인 패턴이나 '문법' 같은 걸 배울 수 있어요. (예: TST, PatchTST, TimeMAE)
• Contrastive Learning (비교하며 배우기): "이건 고양이고, 저건 고양이가 아니야"라고 가르치는 것과 비슷해요. 컴퓨터가 비슷한 시간 순서 데이터 조각들은 '가깝다'고 배우고, 다른 조각들은 '멀다'고 배우면서 데이터의 특징을 학습해요. (예: TNC, TS2Vec)
• Autoregressive Methods (다음 내용 예측하기): 문장에서 앞에 나온 단어들을 보고 다음 단어를 예측하는 것처럼, 시간 순서 데이터에서도 이전 값들을 보고 다음 값을 예측하면서 학습해요. 데이터가 순서대로 나오는 경우에 잘 맞지만, 가끔 작은 실수들이 쌓여서 예측이 틀어지거나, 다른 종류의 작업(task)에 필요한 모든 유용한 정보를 다 배우지는 못할 수도 있었어요. (예: ARIMA, THOC)
  • TimeDART는 여기서 뭘 다르게 했을까요? TimeDART도 이 "다음 내용 예측하기"(autoregressive) 아이디어를 사용하지만, 여기에 특별한 방법을 더해서 데이터로부터 더 좋은 특징(representation)을 배우도록 개선했어요.

2.2. Diffusion Models in Time Series (시간 순서 데이터와 Diffusion Model)

• Diffusion Models (점점 흐리게 했다가 다시 선명하게 만들기): 이건 최근에 나온 아주 똑똑한 학습 방법 중 하나예요. 깨끗한 사진을 일부러 조금씩 조금씩 흐릿하게 만들어서 완전히 알아볼 수 없게 한 다음, 컴퓨터에게 이 과정을 거꾸로 되돌려서 다시 선명한 사진으로 만들도록 가르치는 방식과 비슷해요. 이렇게 하면 아주 세밀하고 진짜 같은 시간 순서 데이터를 만들어내는 데 아주 좋아요. (예: CSDI, TimeGrad)
• Diffusion Model의 주된 쓰임새: 주로 아주 품질 좋은 새로운 시간 순서 데이터를 만들어내거나(generation), 아주 상세한 예측(probabilistic prediction)을 하는 데 많이 쓰였어요.
• 하지만 단점도 있었어요: 너무 완벽한 데이터를 만들어내는 데 집중하다 보니, 이렇게 배운 내용을 가지고 다른 간단한 작업(forecasting 같은 downstream tasks)에 바로 쓰기에는 최적의 방법이 아닐 수도 있었죠.
  • TimeDART는 여기서 뭘 다르게 했을까요? TimeDART는 이 "흐릿하게 했다가 다시 선명하게 만드는"(denoising diffusion) 아이디어의 일부를 아주 영리하게 가져왔어요. 전체 데이터를 새로 만들어내는 대신, TimeDART는 학습 과정 안에서 이 방법을 사용해요. 데이터의 작은 조각(patch)들 안에 있는 아주 미세하고 섬세한 무늬(local patterns)들을 컴퓨터가 더 잘 배우도록 도와주는 거죠. 이렇게 해서 배운 특징(representation)들이 여러 가지 다른 작업들에서도 더 좋은 성능을 내도록 만들었어요.

 

 

 

3. Methodology

Long-term dynamics evolution과 미묘한 local patterns을 모두 capture하기 위해, TimeDART는 autoregressive optimization을 위한 causal masking과 continuous representations을 보존하기 위한 diffusion denoising process를 사용합니다. 다음 섹션에서는 우리 approach의 주요 구성 요소들을 살펴봅니다.

3.1. The Proposed TimeDART

TimeDART는 normalization 및 patch embedding, causal Transformer encoder, 그리고 patch-level diffusion denoising process의 세 가지 modules을 포함합니다.

3.1.1. NORMALIZATION AND EMBEDDING

Instance Normalization Multivariate time series data x1:L​∈RC×L를 representation network에 입력하기 전에, 각 instance x1:L(i)​ (여기서 위첨자 i는 channel index를 나타냄)에 instance normalization을 적용하여 zero mean과 unit variance를 갖도록 합니다. Reconstruction 후에는 original mean과 standard deviation을 복원하여 input distribution consistency를 유지합니다.

Patching Embedding 우리는 patches를 기본 modeling unit으로 사용하여 더 풍부한 local information을 capture하고 더 포괄적인 representations을 만듭니다. 개별 points에 noise를 적용하고 denoising하는 것은 과도한 민감성을 초래할 수 있는 반면, patches는 더 안정적인 embeddings를 제공합니다. Autoregressive property를 보존하고 information leakage를 방지하기 위해, patch length P를 stride S와 같게 설정하여 autoregressive 가정을 존중하는 non-overlapping patches를 보장합니다. 단순성을 위해, time-series length L이 P로 나누어떨어진다고 가정하여 N=PL​개의 patches를 생성하며, 이는 computational complexity를 줄이고 더 긴 sequences 처리를 용이하게 합니다.

각 patch (clean patch라고 함)는 linear embedding layer를 통과하여 high-dimensional representation으로 변환됩니다: z1:N​=Embedding(x1:N​), (1) 여기서 z1:N​은 patch embeddings를 나타내며, 단순성을 위해 channel index (i)는 생략합니다.

3.1.2. CAUSAL TRANSFORMER ENCODER

우리는 vanilla Transformer encoder를 representation network로 initialize합니다. Pre-training 동안, clean patch representations의 맨 앞에 learnable start-of-sequence (SOS) embedding을 추가하고 마지막 patch는 제외합니다. Positional information을 통합하기 위해 embedding layer 다음에 sinusoidal positional encoding을 적용합니다. 이어서, processing layer에서 causal mask M을 사용하여 각 patch가 자기 자신과 이전 patches만 볼 수 있도록 제한합니다. 마지막으로, causal encoder network는 다음과 같이 표현될 수 있습니다: z1:Nin​=Concat[SOS,z1:N−1​]+PE1:N​, (2) f(z1:Nin​)=Encoder(z1:Nin​,M), (3) 여기서 f(⋅)는 causal mask를 사용하여 input sequence를 process하고 final contextualized representations을 생성합니다.

3.1.3. PATCH-LEVEL DIFFUSION AND DENOISING

Forward Process 각 patch xj​∈x1:N​에 대해, forward process q(xjs​∣xjs−1​)=N(xjs​;α(s)

​xjs−1​,(1−α(s))I)는 점진적으로 patch에 noise를 추가하며, 여기서 α(s)는 noise scheduler입니다. γ(s)를 time steps에 대한 α의 누적 곱이라고 할 때, γ(s)=∏s′≤s​α(s′), forward process는 original clean patch xj0​가 주어졌을 때 다음과 같이 다시 쓸 수 있습니다: q(xjs​∣xj0​)=N(xjs​;γ(s)

​xj0​,(1−γ(s))I). (4) 그림 2에서 볼 수 있듯이, 우리는 각 patch에 time step s에서 독립적으로 noise를 추가하여 model이 sequence 전체에 걸쳐 다양한 denoising scales를 학습할 수 있도록 합니다. 이는 task oversimplification을 방지합니다. Noisy patches는 다음과 같이 표현됩니다: x^1:N​=[x1s1​​,…,xNsN​​]. (5) Noise scheduler로는 DDPMs에서의 linear decrease 대신 cosine scheduling approach를 사용하며, 여기서 α(s)∝cos(Ts​π)입니다. 이러한 더 부드러운 전환은 diffusion의 초기 및 후기 단계를 강조하여 model stability를 개선하고 data distribution을 더 잘 capture합니다. 더욱이, noise-added patches와 clean patches는 동일한 embedding layer와 weights를 공유하며, sinusoidal positional encoding이 적용됩니다: z^1:Nin​=Embedding(x^1:N​)+PE1:N​, (6) 여기서 z^1:Nin​은 noise-added patches의 embeddings를 나타냅니다.

Reverse Process Reverse process는 denoising decoder에 의해 처리되며, 이는 encoder output을 keys와 values로 사용하고 noise-added patch embeddings는 queries로 사용합니다. Decoder에는 self-only mask가 적용되어 noise-added sequence의 j-번째 input이 j-번째 encoder output에만 attend하도록 보장합니다. Causal mask에 의해, position j에서의 encoder output은 positions 1에서 j−1까지의 clean patches로부터 information을 aggregate하여 autoregressive optimization을 가능하게 합니다. 마지막으로, deep representations는 linear projection을 통해 original space로 다시 mapping됩니다. Reverse process는 다음과 같이 표현됩니다: zjout​=g(z^jin​,f(z1:j−1in​)), 1≤j≤N, (7) 여기서 g(⋅)는 denoising decoder에 의한 encoder output 및 noise-added patch embeddings의 processing을 나타냅니다.

3.2. Self-supervised Optimization Objective

우리의 self-supervised optimization objective는 diffusion loss를 최소화하며, 이는 Evidence Lower Bound (ELBO)와 동일합니다. Final loss는 다음과 같습니다: Ldiff​=∑j=1N​Eϵ,q(xj0​)​[∥xj0​−g(z^jin​,f(z1:j−1in​))∥2]. (8) 우리는 기존의 MSE loss를 관련된 diffusion loss로 대체하여 model이 time-series data에 대한 multimodal belief를 더 잘 표현할 수 있도록 합니다. 이 공식은 long-term dynamic evolution과 미묘한 local patterns을 효과적으로 capture하는 autoregressive optimization objective에 포함되어 있습니다. 자세한 유도 과정은 Appendix C에서 찾을 수 있습니다.

3.3. Downstream Transfering

Pre-training 후, denoising decoder는 폐기되고 embedding layer와 encoder가 transfer됩니다. 그런 다음 encoder는 다양한 downstream tasks를 위해 task-specific heads로 조정됩니다. Forecasting에서는 look-back window와 predicted window 모두에 대해 fine-tuning이 수행되며, one-step prediction을 위한 flatten head를 사용하고 MSE loss를 사용하여 optimize됩니다. Classification에서는 해당 labels이 있는 input sequence에 대해 fine-tuning이 수행된 후, latent representations을 labels에 project하는 max-pooling head가 이어지며 cross-entropy loss를 사용하여 optimize됩니다.

정리노트: 3. Methodology (AI 연구자용)

핵심 목표: Long-term dynamics (causal autoregressive optimization 통해)와 subtle local patterns (patch-level diffusion denoising 통해)을 동시에 capture하여 continuous representations 생성.

TimeDART의 3가지 핵심 Modules:

1. Normalization & Patch Embedding
2. Causal Transformer Encoder
3. Patch-level Diffusion Denoising Process

1. Normalization & Patch Embedding:

• Instance Normalization: Multivariate time series의 각 instance(x1:L(i)​)에 대해 zero mean, unit variance 적용. Reconstruction 시 원복.
• Patching Embedding:
  • Patch (P) 단위 모델링: Non-overlapping (P=S, stride) 방식으로 autoregressive property 유지 및 local information 안정적 capture. (결과 N=L/P개 patches)
  • Linear embedding: z1:N​=Embedding(x1:N​).

2. Causal Transformer Encoder:

• Representation network로 vanilla Transformer encoder 활용.
• Causal Masking: 핵심 요소. 각 patch가 자신 및 이전 patches에만 attend 하도록 하여 autoregressive property 보장.
• SOS token 추가 및 sinusoidal positional encoding 적용.
• Output: Contextualized representations f(z1:Nin​).

3. Patch-level Diffusion and Denoising (TimeDART의 차별화된 핵심):

• Forward Process (Noise 주입):
  • 각 patch xj​에 독립적으로 점진적 noise 추가: q(xjs​∣xj0​)=N(xjs​;γ(s)​xj0​,(1−γ(s))I).
  • Sequence 내 patch별로 서로 다른 denoising scale (sj​) 적용 가능 (x^1:N​=[x1s1​​,…,xNsN​​]) → Task oversimplification 방지.
  • Cosine noise schedule (α(s)∝cos(Ts​π)) 사용: Diffusion 초기/후기 단계 강조로 model 안정성 및 data distribution capture 향상.
  • Clean/noisy patches 간 embedding layer 및 weights 공유.
• Reverse Process (Denoising Decoder):
  • Input:
    • Keys/Values: 이전 clean patches (1∼j−1)로부터 얻은 Causal Encoder output f(z1:j−1in​).
    • Queries: 현재 noisy patch embedding z^jin​.
  • Self-only mask: j-번째 noisy patch query가 j-번째 (즉, 1∼j−1 clean patch 정보를 종합한) encoder output에만 attend.
  • 핵심: 현재 noisy patch를 denoising 할 때, autoregressive하게 처리된 이전 clean patches의 context 정보를 활용.
  • Output: Denoised patch representation zjout​=g(z^jin​,f(z1:j−1in​)).

3.2. Self-supervised Optimization Objective:

• Diffusion loss 최소화 (ELBO와 동등): Ldiff​=∑j=1N​Eϵ,q(xj0​)​[∥xj0​−g(z^jin​,f(z1:j−1in​))∥2].
• 기존 MSE loss 대신 diffusion loss 사용 → Time-series data에 대한 multimodal belief 표현 능력 향상.
• 이 loss가 autoregressive optimization objective 내에 통합되어 global (autoregressive) 및 local (diffusion-denoising) features 동시 학습.

3.3. Downstream Transfering:

• Pre-training 후 denoising decoder는 폐기.
• 학습된 embedding layer와 Causal Transformer encoder를 downstream tasks에 transfer.
• Task-specific heads 추가 후 fine-tuning (Forecasting: flatten head, MSE loss / Classification: max-pooling head, cross-entropy loss).

연구자 관점 핵심 특징:

• Autoregressive framework 내에 patch-level diffusion을 통합한 독창적 구조.
• Forward process에서 patch별 독립적인 noise level 적용.
• Reverse process에서 이전 clean patches의 context를 활용하여 현재 noisy patch를 denoising하는 메커니즘.
• Diffusion loss를 주요 self-supervised objective로 사용하고 이를 autoregressive하게 최적화.

---

쉬운 설명: 3. Methodology

TimeDART는 어떻게 학습할까요? (전체 목표) TimeDART는 컴퓨터가 시간 순서로 된 데이터(time series data)를 잘 이해하도록 가르치는 방법이에요. 목표는 데이터의 전체적인 큰 흐름(long-term dynamics)과 아주 작은 부분의 세세한 특징(subtle local patterns)을 동시에 파악하는 것이죠.

학습 단계:

1단계: 데이터 준비 (Normalization & Patch Embedding)

• Normalization (정규화): 먼저, 뒤죽박죽인 데이터들을 비슷한 수준으로 맞춰줘요. 예를 들어, 키가 큰 사람과 작은 사람의 데이터를 같은 선상에서 비교하기 위해 평균적인 키로 변환하는 것과 비슷해요.
• Patching (조각내기) & Embedding (컴퓨터 언어로 번역): 긴 시간 순서 데이터를 일정한 길이의 작은 조각(patch)들로 잘라요. 마치 긴 리본을 여러 개의 짧은 조각으로 자르는 것과 같아요. 이렇게 하면 각 조각의 세부적인 특징을 보기 쉬워요. 그리고 이 조각들을 컴퓨터가 이해할 수 있는 숫자 형태의 언어(embedding)로 바꿔줘요. 중요한 건, 조각들이 서로 겹치지 않게 해서 시간 순서를 잘 지키도록 해요.

2단계: 큰 그림 이해하기 (Causal Transformer Encoder)

• 여기서는 "Transformer encoder"라는 아주 똑똑한 도구를 사용해요. 이 도구는 데이터 조각들 사이의 관계를 파악해서 전체적인 맥락을 이해하는 데 아주 뛰어나요.
• **"Causal (인과적)"**이라는 말은, 마치 우리가 책을 앞에서부터 순서대로 읽듯이, 컴퓨터도 데이터 조각들을 시간 순서대로 보면서 현재 조각을 이해할 때 과거의 정보만 사용한다는 뜻이에요. 미래의 정보를 미리 볼 수 없죠. 이렇게 하면 데이터의 전체적인 흐름과 장기적인 경향을 학습할 수 있어요.

3. 단계: 작은 부분까지 꼼꼼하게! (Patch-level Diffusion and Denoising) - 이게 TimeDART의 특별한 비법!

• Forward Process (일부러 흐리게 만들기): 앞에서 만든 깨끗한 데이터 조각(patch)들 각각에 일부러 약간의 "noise(잡음)"를 섞어서 살짝 "흐릿하게" 만들어요. 그림의 일부를 살짝 문지르는 것과 비슷하다고 생각할 수 있어요. 이때, 각 조각마다 흐릿하게 만드는 정도를 다르게 할 수도 있어요.
• Reverse Process (깨끗하게 복원하기 - Denoising Decoder 사용):
  • 이제 컴퓨터는 이 흐릿해진 데이터 조각을 다시 원래의 깨끗한 상태로 복원하려고 노력해요.
  • 중요한 점! 이 복원 작업을 할 때, 2단계에서 파악했던 "큰 그림" 정보(즉, 이전의 깨끗했던 조각들로부터 얻은 맥락 정보)를 활용해요. 마치 문장 전체의 의미를 파악해서 흐릿하게 지워진 단어를 맞추는 것과 같아요. 현재 흐릿한 조각을 깨끗하게 만들 때, 바로 앞까지의 깨끗한 조각들이 어떤 내용이었는지를 참고하는 거죠.

4. 단계: 청소하면서 배우기 (Self-supervised Optimization Objective)

• 컴퓨터는 흐릿한 조각을 깨끗하게 복원한 결과가 원래의 깨끗한 조각과 최대한 비슷해지도록 계속 학습해요. 이때 "얼마나 틀렸는지" (복원된 것과 원래 것의 차이)를 "diffusion loss"라고 부르는데, 이 loss를 줄여나가는 방식으로 똑똑해지는 거예요.
• 이 학습은 데이터 조각(patch) 하나하나에 대해 순서대로 (autoregressive하게) 진행돼요.

5. 단계: 배운 내용 써먹기 (Downstream Transfering)

• 이렇게 이름표 없는 수많은 데이터로 "흐리게 했다 복원하기" 게임을 통해 충분히 똑똑해지면(pre-training), "복원 도구"(denoising decoder)는 이제 필요 없으니 떼어내요.
• 데이터를 이해하는 방법을 배운 부분(embedding layer와 causal Transformer encoder)만 남겨서, 이걸 가지고 미래 값을 예측(forecasting)하거나 데이터의 종류를 분류(classification)하는 등 실제 문제 해결에 활용해요. 이때 각 문제에 맞게 약간의 추가 조정(fine-tuning)을 해줘요.

 

 

 

 

 

 

주인장 이해

 

1. 데이터를 가져와서 정규화, 패치화, 패치 임베딩을 합니다.

2. Clean patch embeddings는 Causal Transformer Encoder를 통과합니다.

3. 동시에 원본 clean patches에 noise가 추가되고 (forward process), 이 noisy patches도 임베딩됩니다.

4. Denoising Decoder가 Causal Transformer Encoder의 출력(문맥 정보)과 noisy patch embeddings를 이용해 clean patch를 복원하려고 시도합니다 (reverse process).

5. 복원된 결과와 실제 원본 clean patch 간의 diffusion loss를 계산합니다.

6. 계산된 loss를 바탕으로, model의 학습 가능한 모든 parameters (Embedding layer, Causal Transformer Encoder, Denoising Decoder 등의 weights)가 업데이트(최적화) 됩니다.