Time series : 논문리뷰 : Abstracted Shapes as Tokens - A Generalizable and Interpretable Model for Time-series Classification

 

VQShape 논문 학습 노트

용어 설명 (Terminology)

• Time-Series (TS): 시간에 따라 순차적으로 기록된 데이터.
• Vector Quantization (VQ): 고차원 벡터 공간을 저차원의 이산적인 코드(code)들로 대표하는 기법. VQ-VAE에서 주로 사용됨.
• Codebook: VQ를 통해 학습된 이산적인 코드(벡터)들의 집합. 여기서는 '추상화된 모양 (abstracted shape)'들을 나타내는 코드들의 집합.
• Abstracted Shape: Time-series subsequence에서 offset, scale, 길이 정보가 정규화를 통해 제거된 순수한 '모양' 패턴. Codebook의 각 code z에 해당함.
• Attribute Tuple (Tk): TS subsequence sk를 설명하는 속성들의 튜플 (zk, μk, σk, tk, lk).
  • zk: Abstracted shape code (Codebook에서 선택됨).
  • μk: Offset (평균값).
  • σk: Scale (표준편차).
  • tk: 상대적 시작 위치 (relative start position).
  • lk: 상대적 길이 (relative length).
• TS Encoder (E): Input TS x를 받아 latent embedding hk들을 출력하는 Patch-based Transformer encoder.
• Attribute Decoder (Adec): Latent embedding hk로부터 VQ 이전의 attribute tuple Tk를 추정하는 MLP 기반 디코더.
• Shape Decoder (S): Abstracted shape code zk를 받아 정규화된 형태의 shape sequence sk (offset=0, scale=1) 를 생성하는 디코더 (논문에서는 CNN 사용 언급은 없으나 구조상 필요).
• TS Decoder (D): Quantized attribute tuple hk (Linear projection of Tk) 들을 받아 원본 TS x를 복원하는 Transformer decoder.
• Latent-space Tokens: Downstream task를 위한 표현형. 각 token은 quantized attribute tuple Tk = (zk, μk, σk, tk, lk) 전체 정보를 포함. 표현력은 높으나 해석력은 낮음.
• Code Histogram: Downstream task를 위한 다른 표현형. Input TS x에 사용된 abstracted shape code zk들의 빈도수 histogram. 해석력이 높음 (CBM과 유사).
• Disentanglement of Shapes (Ldiv): 다양한 위치(tk)와 길이(lk)를 가진 shape들을 학습하도록 유도하는 VQShape 고유의 정규화 손실 함수. 특히 짧은 subsequence 사용을 장려.
• Self-supervised: 별도의 레이블 없이 데이터 자체의 정보를 활용하여 모델을 학습하는 방식 (여기서는 TS 복원, subsequence 복원 등).
• Pre-trained Model: 대규모 데이터셋으로 미리 학습된 모델. 특정 downstream task에 맞춰 fine-tuning 하거나 feature extractor로 사용.
• Zero-shot Learning: 학습 과정에서 보지 못했던 데이터셋이나 domain에 대해 별도의 학습 없이 일반화하여 예측/분류하는 능력.
• Shapelet: TS 분류를 위해 사용되는 중요한 패턴을 가진 대표적인 subsequence. 해석 가능하나 유연성/일반화 능력이 부족. VQShape의 abstracted shape는 이의 일반화된 형태.

Purpose of the Paper

• 기존 대규모 pre-trained TS 모델들이 강력한 성능에도 불구하고 black box 문제를 가지며, 모델 내부 표현에 대한 해석 및 설명을 제공하지 못하는 한계를 극복하고자 함.
• 기존의 해석 가능한 TS 모델링 기법인 shapelet은 특정 데이터셋에 과적합되고, 다양한 offset, scale, duration 변화에 유연하지 못하며 다른 domain으로 전이 학습이 어려운 한계를 지님.
• 이 논문은 TS 데이터를 해석 가능하면서도 여러 domain에 일반화될 수 있는 통합된 표현 (unified representation) 을 학습하는 새로운 self-supervised pre-trained model (VQShape) 을 제안하는 것을 목적으로 함. 즉, 기존 pre-trained 모델의 일반화 능력과 shapelet의 해석 가능성을 결합하고자 함.

Key Contributions

• Interpretable TS Representation 제안: TS subsequence를 abstracted shape, offset, scale, start time, duration의 속성 튜플로 분해하는 새로운 표현 방식 제안.
• VQShape 모델 아키텍처:
  • TS Encoder (E) 와 TS Decoder (D) (Patch-based Transformer).
  • Attribute Decoder (Adec) 와 Attribute Encoder (Aenc).
  • Vector Quantization (VQ)을 이용한 Abstracted Shape Codebook (Z) 학습.
  • Shape Decoder (S)를 통한 shape 시퀀스 생성.
• Abstracted Shape Codebook 학습: 다양한 TS domain에서 재사용 가능하고 일반화된 abstracted shape들의 universal codebook을 학습함. 각 code는 시각화 및 해석 가능.
• Interpretable Downstream Representations:
  • Latent-space Tokens: 전체 attribute 정보를 포함하는 토큰.
  • Code Histogram: 사용된 shape code들의 빈도수 histogram으로, Concept Bottleneck Model (CBM)과 유사하게 해석 가능한 분류기 구축 가능.
• Novel Regularization (Ldiv): 다양한 위치와 길이를 가진 subsequence들을 탐색하도록 유도하여 표현의 다양성을 높이는 새로운 손실 함수 제안.

Novelty

• Interpretable Pre-trained Model: Self-supervised pre-training을 통해 해석 가능한 TS representation을 추출하는 최초의 모델이라는 점 (저자 주장). 기존 pre-trained 모델은 black box, 기존 interpretable 모델은 pre-training/generalizability 부재.
• Abstracted Shapes as Tokens: TS subsequence의 핵심 '모양'을 VQ codebook으로 학습하고 이를 interpretable token으로 사용하는 아이디어. 기존 VQ-VAE 기반 TS 모델 (e.g., TOTEM)의 token은 물리적 의미 부재.
• Attribute Decomposition & VQ Integration: TS subsequence를 명시적인 속성들(shape, offset, scale, time, length)로 분해하고, 이 중 'shape' 부분만 VQ codebook으로 학습하여 해석 가능성과 표현력을 동시에 확보한 구조.
• Ldiv Regularization: 위치(t)와 길이(l) 정보의 다양성을 명시적으로 장려하는 독창적인 정규화 기법 도입.

Experimental Highlights

• Comparable Performance without Fine-tuning: UEA multivariate TS classification benchmark에서 VQShape의 frozen representation (fine-tuning 없이 linear classifier만 학습)이 SOTA black-box 모델들과 비교 가능한 성능을 달성함 (Table 1, 5).
• Superiority in Controlled Pre-training: 동일한 UEA 데이터셋으로만 pre-train했을 때, VQShape가 MOMENT, UniTS보다 우수한 성능을 보임 (Table 2, 6). VQShape의 representation 학습 방식의 효율성 입증.
• Generalizability: 일부 (9개) 데이터셋으로 pre-train해도 전체 (29개) 데이터셋에서 준수한 성능을 보여, 학습되지 않은 데이터셋 및 domain에 대한 generalization 능력을 확인함 (Table 2).
• Interpretability Demonstration:
  • Codebook 시각화 (Fig 2, 6)를 통해 학습된 abstracted shape들을 직접 보여줌.
  • Code Histogram (Fig 4)이 클래스별로 차별적인 패턴을 보이며, 분류에 사용된 shape feature들을 해석 가능하게 함 ("Class CW는 variate 1에서 shape s61을 주로 사용...").
• Ablation Study Insights:
  • Code Histogram 표현은 Ncode=64에서 최적 성능 (Fig 5).
  • Subsequence reconstruction loss (Ls)가 모델 성능 향상에 중요함 (Table 3).
  • 낮은 code dimension (dcode=8)이 bottleneck 역할을 하며 효과적임 (Table 3).

Limitations and Future Work

• Limitations:
  • Pre-training 데이터 규모가 다른 foundation model (e.g., MOMENT)에 비해 제한적이어서 "foundation model"로 명명하지 않음.
  • 현재 연구는 classification task에 초점. Forecasting, imputation, anomaly detection 등 다른 TS task에 대한 해석 가능한 프레임워크 개발 필요.
  • 특정 유형의 TS 데이터 (e.g., 고주파 sinusoidal signal 위주의 BasicMotions)는 'shape' 기반 분해가 비효율적일 수 있으며, 대규모 pre-training 시 성능 저하를 유발할 수 있음. Scaled pre-training을 위한 추가적인 pre-processing/input engineering 필요성 시사.
  • 최적의 codebook 크기는 pre-training 후 post-hoc 분석으로 결정됨. 학습 중 동적으로 조절하는 메커니즘 부재.
• Future Work:
  • VQShape 토큰을 활용하여 forecasting, anomaly detection 등 다른 TS task를 위한 해석 가능한 프레임워크 개발.
  • 다양한 데이터 유형을 효과적으로 처리하기 위한 pre-processing 및 input engineering 개선을 통해 pre-training 규모 확장.
  • 학습 또는 추론 과정에서 codebook 크기를 동적으로 조절하는 기법 개발.
  • 더 높은 차원의 code (dcode > 8) 사용 효과에 대한 심층 연구.

Overall Summary

VQShape는 기존의 black-box pre-trained TS 모델과 유연성이 부족한 interpretable 모델의 한계를 극복하기 위해 제안된 self-supervised pre-trained 모델이다. Vector Quantization을 활용하여 TS subsequence를 해석 가능한 abstracted shape들과 관련 속성들로 분해하고, 이를 통해 universal codebook을 학습한다. 실험 결과, VQShape는 fine-tuning 없이도 SOTA black-box 모델들과 비교 가능한 분류 성능을 보이면서 해석 가능성과 일반화 능력을 제공함을 입증했다. 이 연구는 TS 분야에서 해석 가능성과 일반화 능력을 겸비한 pre-trained 모델의 가능성을 제시했다는 점에서 중요한 의의를 가진다.

쉬운 설명 (Easy Explanation)

VQShape는 복잡한 시계열 데이터(예: 심전도 파형)를 마치 레고 블록처럼 기본적인 '모양' 블록(abstracted shape) 들과 그 블록의 크기(scale), 위치(offset, start time), 길이(duration) 정보로 분해하는 방법을 학습합니다. 이 '모양' 블록들은 미리 만들어진 '모양 블록 세트'(codebook) 에 들어있고, 어떤 시계열 데이터든 이 세트 안의 블록들을 조합해서 표현할 수 있습니다. 덕분에 모델이 왜 특정 예측을 했는지 "이런 모양 블록들이 많이 사용되었기 때문"이라고 설명할 수 있고(해석 가능성), 처음 보는 종류의 시계열 데이터에도 기존에 배운 모양 블록들을 활용해 잘 대처할 수 있습니다(일반화 능력).

 

 

 

 

Abstract

Time-series 분석에서, 최근 많은 연구는 여러 domains에 걸친 time-series에 대한 통합된 관점과 representation을 제공하고자 하며, 이는 time-series 데이터를 위한 foundation models의 개발로 이어졌습니다. 다양한 modeling techniques에도 불구하고, 기존 models은 black boxes이며 그들의 representations에 대한 통찰력과 설명을 제공하지 못합니다.

본 논문에서는 time-series representation learning 및 classification을 위한 pre-trained되고, 일반화 가능하며, interpretable한 model인 VQShape를 제시합니다. Time-series 데이터에 대한 새로운 representation을 도입함으로써, 우리는 VQShape의 latent space와 shape-level features 간의 연결을 구축합니다.

Vector quantization을 사용하여, 우리는 다른 domains의 time-series가 통일된 low-dimensional codes 집합을 사용하여 설명될 수 있음을 보여줍니다. 여기서 각 code는 time domain에서 추상화된 모양으로 represented될 수 있습니다. Classification tasks에서, 우리는 VQShape의 representations가 interpretable한 classifiers를 구축하는 데 활용될 수 있으며, specialist models와 비슷한 performance를 달성함을 보여줍니다.

추가적으로, zero-shot learning에서 VQShape와 그 codebook은 pre-training 과정에 포함되지 않은 이전에 보지 못한 datasets 및 domains로 일반화될 수 있습니다. 

 

 

1 Introduction

데이터의 기본 형태 중 하나로서, time-series (TS)는 헬스케어, 날씨, 교통, 움직임, 인간 활동, 센서 등 광범위한 domains와 응용 분야에 존재합니다. 여러 domains에 걸친 TS 데이터 modeling은 어려운 과제였습니다. 왜냐하면 TS 데이터는 다양한 sampling rates, lengths, magnitudes, frequencies, noise levels를 가질 수 있기 때문입니다. 이러한 heterogeneity 때문에, TS modeling을 위한 기존 machine learning methods 대부분은 단일 dataset 또는 단일 domain에만 초점을 맞춥니다.

최근 natural language processing과 computer vision 분야에서 large pre-trained models의 성공에 힘입어, 이 두 분야에서 채택된 다양한 approaches가 여러 domains의 TS 데이터에 대한 통일된 관점과 feature space를 구축하기 위해 제안되었습니다. 대부분의 models은 transformer를 backbone으로 사용하고 다양한 datasets 범위에서 이를 pre-train합니다. 이러한 방법들은 TS representation learning에서 큰 성공을 거두었으며, 다양한 downstream tasks에 도움을 주고 generalizability를 입증했습니다. 그들의 성공에도 불구하고, 대부분은 인간이 이해할 수 있는 representations를 제공할 수 없기 때문에 black boxes로 남아 있습니다. Tokenizers가 language와 vision을 위한 pre-trained models에서 점점 더 중요한 역할을 해왔지만, TS에서는 pre-training이 종종 다음 또는 masked timestamp, time window, 또는 patch를 예측함으로써 수행되어, LLMs에서처럼 discrete tokens의 개념이 부족합니다. 아주 최근에 Talukder 등은 codebook을 얻고 TS를 reconstruct하기 위해 VQ-VAE를 활용하는 TOTEM을 개발했습니다. 그럼에도 불구하고, 다른 모든 VQ-VAE models처럼, codebook의 tokens는 단지 latent vector representations일 뿐이며 physical meaning이 부족합니다.

대안적으로, interpretable TS modeling에서는 shapelets가 TS 데이터에 대한 interpretable하고 expressive features로 인식되어 왔습니다. 처음에는 classification에서 다른 categories를 구별하는 TS subsequences로 정의되었으나, 나중에는 representative patterns로 일반화되었습니다. 구체적으로, shapelets는 shapelet과 TS 사이의 distance 형태나, TS에 shapelet이 존재할 probability를 측정하는 logical predicate 형태로 TS 데이터를 low-dimensional representations로 transform할 수 있습니다. 그러나 classification tasks에서의 효과에도 불구하고, 이 shape-level feature는 flexibility가 부족합니다. 왜냐하면 미리 정의된 lengths를 가진 shapelets는 dataset-specific predictions을 만들기 위한 discriminative features를 포착하도록 최적화되어 있기 때문입니다. 예를 들어, 가속도계(accelerometers)로 인간의 움직임(human motion)을 측정할 때, 성인과 아이가 같은 gesture를 수행하더라도 다른 offsets, scales, durations를 가진 TS를 기록할 수 있습니다. 그들이 동일한 shape-level concept을 공유하더라도, 그것들을 개별적으로 설명하기 위해서는 여러 shapelets가 필요합니다. 추가적으로, shapelet-based interpretable models는 단일 dataset에 specialized되어 있으며, learned shapelets는 다른 domains로 transfer되지 못합니다.

본 논문에서는 TS에서 기존 pre-trained models과 interpretable models의 한계점에 동기 부여를 받아, TS modeling을 위한 interpretable하고 generalizable tokens로서 abstracted shapes를 제공하는 self-supervised pre-trained model인 VQShape를 제안합니다. 첫째, 우리는 TS subsequence를 abstracted shape, offset, scale, start time, duration을 포함한 attributes 집합으로 decompose합니다. Vector quantization을 통합함으로써, VQShape는 다양한 domains의 TS를 representing하는, generalizable하고 descriptive한 abstracted shapes의 codebook을 learns합니다. 다양한 classification tasks에서 평가했을 때, fine-tuning 없이 VQShape는 black-box pre-trained models와 comparable performance를 달성하면서, 추가적으로 TS 데이터를 설명하기 위한 interpretable latent-space tokens와 representations를 제공합니다.

Our contributions are summarized below:

• 우리는 shape-level features에 기반하여 TS 데이터를 설명하기 위한 abstracted shapes와 attributes로 구성된 interpretable representation을 제시하며, 이는 dataset-agnostic interpretable features의 학습을 가능하게 합니다.
• 우리는 우리가 아는 한, 어떤 TS 데이터로부터든 interpretable representations를 extracts하는 최초의 self-supervised pre-trained model인 VQShape를 소개합니다. VQShape는 또한 여러 datasets로 generalize되는 abstracted shapes를 포함하는 codebook을 learns합니다.
• 다양한 datasets에서 pre-trained되고 fine-tuning 없이, VQShape는 benchmark classification datasets에서 기존 black-box models와 comparable performance를 달성합니다. 우리는 VQShape의 representations와 VQShape 자체가 unseen datasets 및 domains에 대해 interpretable하고 generalizable하다는 것을 명시적으로 보여줍니다.

 

 

 

 

VQShape 논문 Introduction 정리 노트 (AI 연구자용)

배경 및 문제 제기:

• Time-Series (TS) Foundation Models: NLP/Vision 성공에 영감을 받아 TS 분야에서도 여러 domain 데이터를 통합적으로 처리하는 large pre-trained models (주로 Transformer 기반) 등장. Downstream tasks 성능 및 generalizability 입증.
• 한계점 1 (Black Box): 기존 TS foundation models은 성능은 좋으나, 내부 representation이 인간이 이해하기 어려운 black box 상태임. NLP/Vision의 tokenizer/discrete token 개념이 TS pre-training (주로 masked value/patch 예측)에는 부재.
• 한계점 2 (Meaningless Tokens): VQ-VAE 기반 TS 모델 (예: TOTEM)은 codebook을 학습하지만, token (latent vector)이 physical meaning 없이 latent representation에 머무름.
• 한계점 3 (Inflexible Shapelets): 기존 interpretable TS modeling 기법인 shapelets는 classification에 효과적이나, 다음과 같은 단점 존재:
  • 미리 정의된 length로 인한 flexibility 부족 (동일 shape-level concept도 offset, scale, duration 차이로 별도 shapelet 필요).
  • Dataset-specific하게 최적화되어 다른 dataset/domain으로 transfer 불가.

제안: VQShape

• 목표: 기존 pre-trained model의 black box 문제와 interpretable model (shapelets)의 flexibility/transferability 부족 문제를 동시에 해결.
• 핵심 아이디어: Self-supervised pre-trained model인 VQShape 제안. TS subsequence를 abstracted shape와 **attributes (offset, scale, start time, duration)**로 decompose함.
• 메커니즘: Vector quantization (VQ)을 활용하여, 여러 domain에 걸쳐 generalizable하고 descriptive한 abstracted shape들로 구성된 codebook을 학습. 이 codebook의 token (즉, abstracted shape)은 interpretable하며 latent space에서 physical meaning (모양)을 가짐.
• 결과: Fine-tuning 없이 benchmark classification datasets에서 기존 black-box pre-trained models와 comparable performance 달성. 동시에 interpretable latent-space tokens 및 representations 제공. Unseen datasets/domains에 대한 interpretability 및 generalizability 입증.

주요 Contributions:

1. Shape-level features 기반, abstracted shapes + attributes로 구성된 interpretable representation 제시 -> Dataset-agnostic interpretable features 학습 가능.
2. TS 데이터로부터 interpretable representations를 extract하는 최초의 self-supervised pre-trained model (VQShape) 제안. 여러 datasets로 generalize되는 abstracted shape codebook 학습.
3. Fine-tuning 없이 black-box 모델과 유사한 성능 달성 + interpretability 및 generalizability 명시적 입증.

---

쉬운 설명: 1 Introduction 섹션

시간 순서대로 변하는 데이터(주식 가격, 심전도, 날씨 등, 이걸 time-series라고 해요)를 AI로 분석하는 연구가 활발해요. 요즘 AI는 여러 종류의 time-series 데이터를 한꺼번에 학습해서 잘 처리하려고 하는데 (foundation model), 문제는 이 AI들이 똑똑하긴 한데 왜 그런 결정을 내리는지 속을 알 수 없는 '깜깜이 상자(black box)' 같다는 거예요. AI가 데이터에서 뭘 배웠는지(representation) 사람이 이해하기 어렵죠.

글자나 이미지를 다루는 AI는 데이터를 '단어'나 '이미지 조각' 같은 token으로 나눠서 이해하는데, time-series AI는 아직 그런 명확한 '의미 조각'(token) 개념이 부족했어요. 비슷한 시도(VQ-VAE 사용)도 있었지만, 여기서 얻은 token들도 그냥 복잡한 숫자 덩어리(latent vector)일 뿐, 실제 데이터의 어떤 '모양'을 의미하는지는 알 수 없었죠.

반대로, 예전부터 time-series 데이터의 중요한 '부분 패턴'(shapelet)을 찾아서 분석하는, 이해하기 쉬운(interpretable) 방법도 있었어요. 예를 들어 심전도 그래프에서 '위험 신호'에 해당하는 특정 모양 패턴을 찾는 거죠. 그런데 이 방법은 너무 융통성이 없었어요(flexibility 부족). 같은 심장 박동 패턴이라도 사람마다 조금씩 다르게 나타날 수 있는데(offset, scale, duration 차이), 이 방법은 이걸 다 다른 패턴으로 취급해야 했죠. 또, 특정 데이터(예: A 병원 심전도)에서 찾은 패턴은 다른 종류의 데이터(예: B 병원 심전도나 날씨 데이터)에는 써먹기 어려웠어요(transfer 불가).

그래서 이 논문은 두 가지 장점을 합치려고 해요!

바로 VQShape라는 새로운 AI 모델을 만들어서, 기존의 똑똑한 AI(pre-trained model)처럼 다양한 데이터를 잘 처리하면서도, 동시에 AI가 데이터의 어떤 **'핵심 모양'(abstracted shape)**을 보고 판단하는지 사람이 이해할 수 있게(interpretable) 만들자는 거죠.

VQShape의 아이디어는 이래요:

1. Time-series 그래프를 잘게 나눠서 봐요 (subsequence).
2. 각 조각을 "어떤 기본 모양(abstracted shape)" + "어디쯤에(offset, start time), 어떤 크기로(scale), 얼마나 길게(duration)" 나타나는지로 분해해요.
3. 다양한 데이터에서 자주 나타나는 '기본 모양'들을 모아서 **'모양 사전(codebook)'**을 만들어요 (Vector Quantization 기술 사용). 이 사전 속 모양들은 여러 종류의 데이터에 두루 쓰일 수 있게(generalizable) 학습돼요.
4. 이제 어떤 time-series 데이터가 와도, 이 '모양 사전'에 있는 모양들의 조합으로 설명을 할 수 있게 되는 거예요. 레고 블록처럼요!

이렇게 하면 AI가 데이터를 이해하는 방식이 투명해지고(interpretable), 성능도 기존의 black box 모델만큼 좋으면서, 심지어 학습 때 보지 못했던 새로운 데이터에도 어느 정도 적용(generalizable)할 수 있다는 것을 보여주는 게 이 논문의 핵심 내용입니다.

 

 

2 Related Work

TS analysis를 위한 Deep learning methods. Deep learning methods는 TS analysis에 점점 더 많이 적용되고 있습니다. Existing methods는 Transformer structure를 backbone으로 사용하는지 여부에 따라 두 그룹으로 분류될 수 있습니다. Non-Transformer-based models의 경우, MLP, CNN, ResNet과 같은 고전적인 deep learning models이 다양한 tasks에서 괜찮은 performance를 보여줍니다. Recent methods는 TS 데이터의 explicit features를 model하기 위해 다양한 feature engineering techniques를 개발했습니다. TimesNet은 TS를 2D space로 transforms하여 multi-period features를 modularized 방식으로 포착하며, 다양한 tasks에서 state-of-the-art performance를 달성합니다. TS2Vec은 TS 데이터의 unsupervised representation learning을 위해 hierarchical contrastive learning을 사용합니다. T-Rep은 TS를 time embeddings로 augmenting하여 latent space에 추가적인 temporal structure를 제공하는 self-supervised representation learning approach를 도입합니다. Transformers는 TS analysis에 점점 더 많이 적용되고 있지만, 대개 original structure에 일부 modifications가 가해집니다. 예를 들어, Autoformer는 temporal dependencies를 포착하기 위해 Auto-Correlation mechanism을 통합하여 attention mechanism을 수정합니다. Transformers를 real-valued data에 적용할 때, inputs를 patches로 transforming하는 것은 images에 효과적인 approach로 인식되어 왔습니다. 왜냐하면 tokens가 language의 “word”처럼 더 많은 semantic meaning을 포함할 수 있기 때문입니다. 유사하게, PatchTST는 TS analysis 역시 patched inputs를 Transformers와 결합하는 것에서 이점을 얻으며, TS를 64개의 “words” sequence로 간주함을 보여줍니다.

TS data를 위한 Pre-trained Models. Language와 vision에서 large pre-trained models의 성공은 TS analysis를 위한 foundation models 개발을 촉진합니다. Existing approaches는 다른 perspectives에서 TS 데이터에 대한 unified view를 찾는 것을 목표로 합니다. 예를 들어, TST는 Transformer model을 사용하며 masked reconstruction을 사용하여 pre-trained되는 반면, TimeGPT-1은 forecasting window를 generating하여 pre-trained됩니다. MOMENT는 padding과 sub-sampling을 사용하여 TS 데이터의 lengths를 통일함으로써 patch-based Transformer를 multiple datasets로 확장합니다. 이 model은 또한 masked patches를 reconstruct하도록 pre-trained됩니다. TOTEM은 raw TS 데이터에 convolutional neural network (CNN) encoder를 적용하고 encoder outputs에 vector quantization (VQ)을 사용하여, TS 데이터에 대한 discrete하고 domain-invariant codebook을 제공합니다. TOTEM은 convolutions로부터의 latent-space codes를 unified representation으로 간주하며, 전체 TS를 reconstruct하기 위해 VQVAE로 pre-trained됩니다. UniTS는 single model 및 pre-training process 내에서 predictive 및 generative tasks를 unify하기 위한 prompt-based method를 도입합니다. 이러한 methods가 다양한 downstream tasks에 도움이 되는 representations를 learn하고 generalizability를 입증하지만, 이러한 pre-trained models은 human-understandable representations를 제공할 수 없기 때문에 black boxes로 남아 있습니다.

VQShape 논문 Related Work 정리 노트 (AI 연구자용)

1. TS Analysis를 위한 Deep Learning Methods

• 분류: Transformer 사용 여부
  • Non-Transformer 기반:
    • 기본: MLP, CNN, ResNet 등 고전적 deep learning models도 준수한 performance 보임.
    • 최근 동향 (Feature Engineering 초점):
      • TimesNet: TS -> 2D space transform으로 multi-period features 포착. 다양한 tasks에서 SOTA.
      • TS2Vec: Hierarchical contrastive learning 기반 unsupervised representation learning.
      • T-Rep: Time embeddings로 augmenting하여 latent space에 temporal structure 부여하는 self-supervised 방식.
  • Transformer 기반:
    • 특징: 주로 original structure에 modification 적용.
    • 예시:
      • Autoformer: Attention mechanism을 Auto-Correlation mechanism으로 수정하여 temporal dependencies 포착.
      • PatchTST: Input을 patch 단위로 transform (Vision Transformer 방식 차용). TS를 semantic meaning 갖는 "word" (patch) sequence로 간주 (e.g., 64 "words").

2. TS Data를 위한 Pre-trained Models (Foundation Models)

• 목표: 다양한 perspectives에서 여러 domain의 TS 데이터에 대한 unified view 확보.
• 주요 모델 및 Pre-training 방식:
  • TST: Transformer 기반, masked reconstruction 방식 사용.
  • TimeGPT-1: Forecasting window generation 방식 사용.
  • MOMENT: Patch-based Transformer 확장. Padding/sub-sampling으로 length 통일. Masked patch reconstruction 방식 사용.
  • TOTEM: CNN encoder + Vector Quantization (VQ). Discrete, domain-invariant codebook 제공. VQ-VAE 방식으로 전체 TS reconstruct (단, code는 physical meaning 없는 latent code).
  • UniTS: Prompt-based method로 predictive/generative tasks를 single model/pre-training으로 unify.
• 공통적 한계: 위 모델들은 representation 학습 및 generalizability 측면에서 성공했으나, human-understandable representation을 제공하지 못하는 black box 모델임. (-> VQShape의 연구 동기)

---

쉬운 설명: 2 Related Work 섹션

이 섹션에서는 "VQShape" 논문이 나오기 전에, 다른 연구자들이 시간 순서 데이터(time-series, TS)를 분석하기 위해 어떤 AI 방법들을 사용했는지 소개하고 있어요. 크게 두 가지 흐름으로 나눠 볼 수 있습니다.

1. 다양한 AI 도구들로 TS 분석 시도

• 기본 도구 활용: 사람들이 원래 알던 AI 도구들(MLP, CNN, ResNet 같은 것들)을 TS 데이터 분석에 써봤더니 어느 정도 잘 작동했어요.
• 더 똑똑한 방법들:
  • TimesNet: TS 데이터를 마치 2D 이미지처럼 변환해서, 주기적으로 반복되는 패턴(multi-period features)을 더 잘 찾아내는 방법을 썼어요.
  • TS2Vec, T-Rep: AI가 스스로 데이터의 특징을 배우게(self-supervised learning) 하는 방법을 썼어요. 예를 들어, 비슷한 TS 조각과 다른 TS 조각을 비교하게 하거나(contrastive learning), 데이터에 시간 정보를 추가(time embedding)해서 AI가 시간 흐름을 더 잘 이해하도록 도왔죠.
  • Transformer 활용 (약간 수정해서): 요즘 유행하는 강력한 AI 모델인 Transformer도 TS 분석에 많이 쓰였어요. 다만 그대로 쓰기보다는 TS 데이터의 특성에 맞게 조금씩 고쳐서 썼죠. 예를 들어, 시간적인 연관성(temporal dependencies)을 더 잘 파악하도록 attention 부분을 수정하거나(Autoformer), TS 데이터를 이미지처럼 네모난 조각(patch)으로 잘라서 Transformer가 처리하게 했어요(PatchTST). 마치 긴 문장을 단어(word) 단위로 끊어 읽는 것처럼요.

2. 아주 큰 AI 모델로 TS 데이터 한번에 학습시키기 (Pre-trained Models)

• 챗GPT처럼 아주 큰 데이터로 미리 학습시킨 모델(large pre-trained model)들이 다른 분야에서 성공하자, TS 분야에서도 이런 시도가 늘었어요. 여러 종류의 TS 데이터를 왕창 모아서 하나의 거대한 AI 모델(foundation model)을 미리 학습시키는 거죠.
• 다양한 학습 전략:
  • 데이터의 일부를 가리고 맞추게 하거나 (masked reconstruction - TST, MOMENT)
  • 미래 값을 예측하게 하거나 (forecasting - TimeGPT-1)
  • 데이터를 '코드북'에 있는 코드 조각으로 바꾸는 방식 (vector quantization - TOTEM) 등을 사용했어요.
  • 하나의 모델로 예측도 하고 새로운 데이터 생성도 하게 만드는 방법(prompt-based - UniTS)도 나왔고요.

하지만 문제점: 이렇게 미리 학습시킨 모델들은 성능도 좋고 여러 데이터에 잘 적용되지만(generalizability), 대부분 왜 그런 결과를 내는지 사람이 이해하기 어려운 '깜깜이 상자(black box)' 라는 한계가 있었어요. (이것이 바로 VQShape가 해결하려는 문제입니다!)

 

 

 

3 Proposed Method

Interpretable TS modeling을 위해, 우리는 먼저 shape-level representations의 formulations을 제시하여, univariate TS data를 abstracted shapes와 attributes 집합을 사용하여 설명합니다. 그런 다음, VQShape의 architecture와 각 단계의 상세한 workflow 및 products와 함께 그 components를 소개합니다.

Notations. (X,Y)={(xi​,yi​)∣i=1,…,N}를 N개의 samples를 가진 TS classification dataset이라고 표기합시다. 여기서 xi​∈RM×T는 multivariate TS sample이고 yi​∈{1,…,C}는 class label입니다. M은 variables의 수, T는 timestamp 단위의 length, C는 categories의 수입니다. 각 multivariate TS sample xi​는 univariate TS samples의 집합으로 볼 수 있으며, 여기서 xim​∈RT는 m번째 variable의 TS를 나타냅니다. Notations의 단순화를 위해, 본 논문에서는 xi,t1​:t2​m​를 timestamp ⌊Tt1​⌋와 ⌊Tt2​⌋ 사이의 xim​의 subsequence로 표기하며, 여기서 t1​,t2​∈[0,1]는 relative positions입니다.

3.1 Shape-level representation

univariate TS x에 대해, subsequence sk​는 attribute tuple τk​=(zk​,μk​,σk​,tk​,lk​)로 represented될 수 있습니다. 여기서,

• zk​∈Rdcode​는 sk​의 abstracted shape에 대한 code입니다.
• μk​∈R1는 sk​의 offset입니다.
• σk​∈R1는 sk​의 scale (standard deviation)이며 σk​>0입니다.
• tk​∈R1는 x 내에서 sk​의 relative starting position이며 0≤tk​≤1−lmin​입니다.
• lk​∈R1는 x의 length에 대한 sk​의 relative length이며 lmin​≤lk​≤1−tk​입니다.

여기서 lmin​은 shape의 minimum length를 정의하는 hyperparameter입니다. 우리는 lmin​=1/64로 설정하는데, 이는 patch의 length이기 때문입니다. 본 연구에서는 univariate TS x가 주어졌을 때 attribute tuples T={τk​∣k=1,…,K} 집합을 생성하는 pre-trained transformer model을 개발합니다. 추가적으로, model은 다른 domains의 datasets에 대해 reusable하고 generalizable한 abstracted shape z의 codebook을 learns합니다.

3.2 VQShape Architecture

VQShape model은 TS encoder E, TS decoder D, latent-space codebook Z, shape decoder S, attribute encoder Aenc​, 그리고 attribute decoder Adec​를 포함합니다. VQShape의 overview는 그림 1에 제시되어 있습니다. 이어서 각 component에 대한 상세한 formulation을 제시합니다.

TS Encoding. VQShape는 patch-based transformer encoder를 포함하며, 이는 먼저 univariate TS x를 dimension dpatch​를 가진 K개의 겹치지 않는 고정 길이 patches로 transforms합니다. 그런 다음, patches는 learnable linear projection과 additive position embedding에 의해 encoded되어, transformer model의 inputs 역할을 하는 patch embeddings를 형성합니다. Transformer는 K개의 latent embeddings h^∈Rdembed​를 outputs합니다. 공식적으로, TS encoder는 {h^k​∈Rdembed​∣k=1,…,K}=E(x)로 표기됩니다. h^k​는 단지 k번째 patch뿐만 아니라 모든 patches로부터의 information을 포함할 수 있다는 점에 유의하십시오.

Attribute Decoding. Attribute decoder Adec​는 latent embedding hk​를 입력받아 attribute tuple τ^k​=(z^k​,μk​,σk​,tk​,lk​)를 extracts합니다. 공식적으로, Adec​는 다음을 수행합니다: τ^k​=(z^k​,μk​,σk​,tk​,lk​)=Adec​(hk​), 여기서 ⎩

⎨

⎧​z^k​=fz​(hk​),μk​=fμ​(hk​),σk​=softplus(fσ​(hk​)),tk​=sigmoid(ft​(hk​))⋅(1−lmin​),lk​=sigmoid(fl​(hk​))⋅(1−tk​)+lmin​.​(1) {fz​,fμ​,fσ​,ft​,fl​}의 각 decoding function은 하나의 hidden layer와 ReLU activation을 가진 multi-layer perceptron (MLP)을 사용하여 구현됩니다. 일반적인 notation을 따라, τ^는 quantization 전의 attribute tuple을 나타냅니다.

Codebook and Vector-Quantization. Latent-space codebook은 Z={zq​∈Rdcode​∣q=1,…,Ncode​}로 표기됩니다. 오직 abstracted shape-level features만을 포함하는 generalizable codebook을 학습하기 위해, 우리는 dcode​=8인 low-dimensional codes를 사용합니다. 이 configuration은 또한 reconstruction을 위한 bottleneck을 생성하여, abstracted shapes 외에 추론될 수 있는 추가적인 information을 최소화합니다. Quantization은 Euclidean distance에 기반하여 discrete code를 선택하는 VQ-VAE를 따릅니다: zk​=argzq​∈Zmin​∥z^k​−zq​∥.(2)

Shape Decoding. TS subsequence의 abstracted shape는 normalizations를 통해 length, offset, scale information이 제거된 sequence입니다. τk​=(zk​,μk​,σk​,tk​,lk​)가 주어졌을 때, 우리는 먼저 tk​와 lk​에 의해 지정된 x로부터 target subsequence를 추출하고 이를 xtk​:tk​+lk​​로 표기합니다. 그런 다음, xt:t+l​은 length information을 제거하기 위해 고정 길이 ds​로 interpolated됩니다. Shape decoder S는 zk​를 입력받아 동일한 length의 다른 sequence를 outputs합니다. 공식적으로, τk​에 대해 이 단계는 두 개의 sequences를 생성합니다: sktarget​∈Rds​=interpolate(xtk​:tk​+lk​​),(3) sk​∈Rds​=S(zk​)⋅σk​+μk​. S의 output은 S(zk​)가 offset과 scale information이 제거되도록 normalized된다는 점에 유의하십시오.

Attribute encoding and reconstruction. Quantization 후의 attribute tuple τk​=(zk​,μk​,σk​,tk​,lk​)는 hk​∈Rdembed​=Linear(τk​)로 표기되는 learnable linear projection에 의해 transformed됩니다. 그런 다음, TS decoder D는 {hk​∣k=1,…,K}를 입력받아 reconstructed TS x^를 outputs합니다.

 

 

VQShape 논문 Proposed Method 정리 노트 (AI 연구자용)

목표: Interpretable TS modeling을 위한 shape-level representation 정의 및 이를 학습/활용하는 VQShape architecture 제시.

3.1 Shape-level Representation (핵심 아이디어)

• 정의: Univariate TS x의 subsequence sk​를 5가지 attributes 튜플 τk​=(zk​,μk​,σk​,tk​,lk​)로 표현.
  • zk​∈Rdcode​: Abstracted shape을 나타내는 code (codebook Z에서 선택됨).
  • μk​∈R1: Offset (평균값).
  • σk​∈R1: Scale (standard deviation, σk​>0).
  • tk​∈R1: Relative starting position (0≤tk​≤1−lmin​).
  • lk​∈R1: Relative length (lmin​≤lk​≤1−tk​).
• Codebook (Z): Model은 다양한 datasets/domains에 reusable하고 generalizable한 abstracted shape (z) 들의 codebook Z={zq​} 를 학습.
• 주요 설정:
  • lmin​=1/64: 최소 shape 길이 (patch 길이와 동일).
  • dcode​=8: Low-dimensional code 사용하여 shape 정보에 집중하도록 bottleneck 역할 및 interpretability 강화.

3.2 VQShape Architecture 및 Workflow

• 구성 요소:
  • TS Encoder (E): Patch-based transformer.
  • Attribute Decoder (Adec​): MLPs.
  • Latent-space Codebook (Z): 학습 대상인 abstracted shape 코드 저장소.
  • Shape Decoder (S): Abstracted shape 코드(zk​)로부터 정규화된 sequence 생성.
  • TS Decoder (D): Attribute 정보로부터 TS 재구성.
  • (Attribute Encoder Aenc​는 명시적 언급보다 reconstruction 단계의 Linear layer로 구현됨).
• 처리 과정 (Univariate TS x 입력):
  1. TS Encoding (E):
     • x -> K개 non-overlapping fixed-length patches.
     • Patches -> learnable linear projection + position embedding -> patch embeddings.
     • Patch embeddings -> Transformer Encoder -> K개 latent embeddings {h^k​∈Rdembed​}=E(x).
  2. Attribute Decoding (Adec​):
     • 각 h^k​ -> MLP 통과 -> Pre-quantization attribute tuple τ^k​=(z^k​,μk​,σk​,tk​,lk​) 예측 (Equation 1).
     • σk​,tk​,lk​는 softplus/sigmoid 함수로 범위 제약.
  3. Vector Quantization (VQ):
     • z^k​와 codebook Z의 각 code zq​ 간 Euclidean distance 계산.
     • 가장 가까운 code 선택: zk​=argminzq​∈Z​∥z^k​−zq​∥ (Equation 2). -> Quantized tuple τk​=(zk​,μk​,σk​,tk​,lk​).
  4. Shape Decoding (S): (주로 학습/검증 단계에서 사용)
     • 원본 x에서 tk​,lk​로 지정된 target subsequence xtk​:tk​+lk​​ 추출 후 고정 길이 ds​로 interpolate -> sktarget​.
     • 선택된 code zk​ -> Shape Decoder S -> 정규화된 shape sequence S(zk​).
     • Offset μk​와 Scale σk​ 재적용: sk​=S(zk​)⋅σk​+μk​. (Equation 3). sk​가 sktarget​과 유사해지도록 학습.
  5. Attribute Encoding & Reconstruction (D):
     • Quantized tuple τk​ -> Learnable linear projection -> Post-quantization embedding hk​∈Rdembed​.
     • {hk​∣k=1,…,K} -> TS Decoder D -> Reconstructed TS x^. x^가 원본 x와 유사해지도록 학습.

핵심 특징 요약: TS subsequence를 해석 가능한 abstracted shape(zk​)와 물리적 attributes(μk​,σk​,tk​,lk​)로 명시적으로 분해하고, VQ를 통해 공유 가능한 shape codebook을 학습하며, 이를 기반으로 reconstruction을 수행하는 구조. dcode​를 작게 하여 shape 정보에 집중하도록 강제.

---

쉬운 설명: 3 Proposed Method 섹션

이 섹션은 VQShape 모델이 실제로 어떻게 작동하는지 그 설계 방법을 설명하는 부분입니다. 복잡한 수식이 많지만, 핵심 아이디어는 다음과 같습니다.

1. 시간 그래프 조각을 설명하는 5가지 요소 (Shape-level representation)

VQShape는 시간 순서 데이터(TS) 그래프의 특정 조각(subsequence)을 볼 때, 그냥 통째로 보는 게 아니라 5가지 정보(attribute tuple)로 나눠서 이해하려고 해요.

• ① 기본 모양 (Abstracted Shape Code zk​): 이 조각이 어떤 기본적인 '모양'을 하고 있는지 (예: 쭉 올라가는 모양, U자 모양 등). VQShape는 미리 학습된 '기본 모양 사전(codebook)'에서 가장 비슷한 모양 코드를 가져와요.
• ② 높낮이 (Offset μk​): 그래프에서 이 조각이 전체적으로 얼마나 위 또는 아래에 위치하는지.
• ③ 위아래 크기 (Scale σk​): 이 조각이 위아래로 얼마나 길쭉하거나 납작한지 (진폭).
• ④ 시작 위치 (Start Time tk​): 전체 그래프에서 이 조각이 어디서 시작하는지.
• ⑤ 길이 (Length lk​): 이 조각의 길이가 얼마나 되는지.

2. VQShape 모델의 작동 순서 (VQShape Architecture)

VQShape 모델은 여러 부품(components)으로 이루어져 있고, 다음과 같은 순서로 작동해요.

• ① 그래프 조각내어 특징 추출 (TS Encoding): 먼저, 입력된 TS 그래프를 일정한 길이의 조각(patch)들로 나눠요. 그리고 Transformer라는 AI 도구를 써서 각 조각의 특징(latent embedding)을 뽑아내요.
• ② 각 조각 정보 예측 (Attribute Decoding): 추출된 특징을 보고, 위에서 말한 5가지 정보(기본 모양, 높낮이, 크기, 시작 위치, 길이)를 예측해요.
• ③ 모양 사전에서 찾기 (Vector Quantization): 예측된 '기본 모양'과 가장 비슷한 모양을 미리 만들어둔 '모양 사전(codebook)'에서 찾아서 최종 모양 코드(zk​)를 결정해요. 이 사전은 크기가 작아서(코드가 8차원) 정말 핵심적인 모양 정보만 담도록 유도해요.
• ④ 모양 그려보기 (Shape Decoding): (주로 학습할 때) 사전에서 찾은 모양 코드(zk​)로 실제 모양을 그려보고, 원본 그래프 조각과 비교해요. 이걸 통해 '모양 사전'이 제대로 된 모양들을 배우도록 하죠.
• ⑤ 다시 조립해서 원본 그래프 만들기 (Attribute Encoding & Reconstruction): 최종 결정된 5가지 정보(모양 코드, 높낮이, 크기, 시작 위치, 길이)를 다시 합쳐서 원래의 TS 그래프를 복원(reconstruct)해요. 복원된 그래프가 원본과 최대한 비슷해지도록 모델 전체를 학습시켜요.

핵심 요약: VQShape는 TS 그래프를 해석 가능한 '모양' 코드와 나머지 '속성(위치, 크기 등)' 정보로 분해하고, 이 정보들을 이용해 다시 그래프를 조립하는 과정을 학습합니다. 특히 '모양 사전'을 통해 여러 데이터에서 공통적으로 나타나는 의미있는 모양 패턴을 배우고 활용하는 것이 이 모델의 특징입니다.

 

 

4 Pre-training

VQShape는 dataset-agnostic features와 tokens를 학습하기 위해 diverse datasets에서 pre-trained됩니다. 이 섹션에서는 VQShape의 self-supervised training strategies와 objectives를 소개합니다. 그런 다음, model이 down-stream tasks에 제공할 수 있는 representations에 대해 논의합니다.

4.1 Objectives

Pre-training 단계 동안 VQShape의 optimization objectives는 아래와 같이 요약됩니다.

Reconstructions. 대부분의 VQ-VAE approaches와 유사하게, VQShape는 TS 데이터 modeling에 필수적인 latent-space representations를 학습하기 위해 input TS를 정확하게 reconstruct하도록 trained됩니다. 추가적으로, interpretable representations를 제공하기 위해, decoded shapes는 실제 subsequences와 유사해야 합니다. 따라서, reconstruction은 다음 두 가지 objectives를 최소화합니다:

Time-series reconstruction: Lx​=∥x−x^∥22​, (4) Subsequence reconstruction: Ls​=K1​∑k=1K​∥sktarget​−sk​∥22​. (5)

Vector Quantization. 우리는 encoder E와 codebook Z를 trains하는 vector-quantization objective를 정의하기 위해 VQ-VAE를 따릅니다. 추가적으로, Yu 등의 연구에서 영감을 받아, codebook usage를 장려하기 위해 추가적인 entropy terms를 더합니다. 우리는 이 항들이 pre-training stability를 향상시키고 codebook usage의 collapse를 피할 수 있음을 발견했습니다. Codebook learning을 위한 objective는 다음과 같이 정의됩니다:

Lvq​=quantization

∥z^−sg(z)∥22​+λcommit​∥sg(z^)−z∥22​​​+codebook usage

E[H(q(z^,Z))]−H(E[q(z^,Z)])​​, (6)

여기서 sg(⋅)는 stop-gradient operator이고 H(⋅)는 discrete variables에 대한 entropy function입니다. q(z^,Z)=softmax(∥z^−zk​∥22​∣zk​∈Z)는 z^와 Z 안의 모든 codes 사이의 distance를 categorical distribution으로 measures합니다.

Disentanglement of shapes. Equation 5에서, attributes (zk​,μk​,σk​)는 정확한 subsequence reconstructions를 위해 optimized됩니다. (tk​,lk​)가 sktarget​를 정의하기 때문에, 이것들이 abstracted shapes와 codebook을 learning하는 데 필수적이라는 점에 주목하는 것이 중요합니다. 그러나, 유익한 subsequence selection을 위해 (tk​,lk​)를 학습하는 데 오직 Equation 4의 reconstruction에서 오는 gradients만을 사용하는 것은 어렵습니다. 따라서, 우리는 latent-space tokens (attributes)이 다양한 positions와 scales를 가진 shape-level information을 포착하도록 장려하는 추가적인 regularization을 도입합니다. 이 regularization은 다음과 같이 정의됩니다:

Ldiv​=K21​∑k1​=1K​∑k2​=1K​1(k1​=k2​)relu(ϵ−∥κ(tk1​,lk1​)−κ(tk2​,lk2​)∥22​), 여기서 κ(tk​,lk​)=(cos(tk​π)⋅ln(lk​)/ln(lmin​)sin(tk​π)⋅ln(lk​)/ln(lmin​)​). (7)

Equation 7에서, κ(tk​,lk​)는 (tk​,lk​)를 (1) 작은 lk​ 값들이 더 diverse해지고 (2) 다른 tk​로부터 온 큰 lk​ 값들이 더 concentrated되는 space로 maps하는 coordinate transformation을 정의합니다. 이 space에서 다른 (tk​,lk​)들을 diverse하게 만듦으로써, Ldiv​는 model이 local details를 포착하기 위해 짧은 sequences의 use를 증가시키면서 disentangled shape-level information을 포착하도록 장려합니다. 그림 8은 transformation κ의 예시를 visualizes합니다. ϵ은 transformed coordinate에서 두 (tk​,lk​) samples가 충분히 diverse하다고 간주되는 threshold distance를 정의하는 hyperparameter입니다. 전체 pre-training objective는 다음을 최소화하는 것입니다:

Lpretrain​=λx​Lx​+λs​Ls​+λvq​Lvq​+λdiv​Ldiv​, (8)

여기서 λx​,λs​,λvq​,λdiv​는 components 간의 weighting을 정의하는 hyperparameters입니다. VQShape의 pre-training 동안, 우리는 λx​=λs​=λvq​=1, λdiv​=0.8, 그리고 λcommit​=0.25로 설정합니다.

Design Analysis. 전반적으로, VQShape의 encoding process (Transformer encoder 및 attribute decoder)는 univariate TS를 position, length, offset, scale과 함께 abstracted shapes 집합을 사용하여 representing하고 summarizing함으로써 inductive bias를 도입합니다. Pre-training objectives는 components가 (Equation 4의 reconstruction을 통해) TS를 describe하는 데 필요한 information을 preserving하면서, (Equation 5의 subsequence reconstruction을 통해) interpretable representations를 learning하고 (Equation 7의 regularization을 통해) disentangled representations를 learning하도록 guide합니다. 이러한 objectives는 전통적인 deep autoencoder structure에 interpretability를 도입합니다. Universal codebook을 사용하여 diverse datasets에서 pre-training함으로써, VQShape는 이 inductive bias를 더욱 leverages하여 discrete하고 dataset-agnostic representations를 produce하며, 이는 TS 데이터를 describe하는 primitives로 사용될 수 있는 abstracted shapes의 vocabulary를 결과로 낳습니다.

Model Configurations. VQShape의 model size 관련 settings는 MOMENT-Small model의 설정과 일치합니다. 구체적으로, 우리는 모든 input univariate TS x를 length T=512가 되도록 interpolate하고, 이를 dpatch​=8인 K=64개의 patches로 나눕니다. Encoder E와 decoder D의 Transformer layers는 8개의 heads, embedding dimension dembed​=512, feed-forward layer size 2048을 가집니다. 우리는 8-layer encoder E와 2-layer decoder D의 asymmetric structure를 사용합니다. Codebook Z는 Ncode​=512개의 codes를 포함하며, 각 code는 dimension dcode​=8입니다. Subsequences sktarget​와 decoded sequences sk​는 length ds​=128을 가집니다. 우리는 minimum shape length lmin​=1/64로 설정합니다. 이러한 settings로, VQShape는 37.1 million개의 parameters를 가집니다.

Pre-training stage에서, 우리는 VQShape를 AdamW optimizer로 train하며, weight decay λ=0.01, β1​=0.9, β2​=0.999, gradient clipping 1.0, effective batch size 2048을 사용합니다. 우리는 initial learning rate 1e−4, final learning rate 1e−5, 1 epoch의 linear warm-up을 가진 cosine learning rate schedule을 사용합니다. Pre-training dataset은 UEA Multivariate TS Classification Archive에서 InsectWingbeat dataset을 제외한 29개 datasets의 training split에서 extracted된 univariate TS를 포함하며, 총 1,387,642개의 univariate TS가 됩니다. 우리는 이 dataset에서 VQShape를 50 epochs 동안 bfloat-16 mixed precision을 사용하여 train합니다.

4.2 Representations for down-stream tasks

VQShape는 두 가지 types의 representations를 제공합니다: Latent-space Tokens와 Code Histogram.

Tokens. VQ-VAE 및 VQ-GAN과 같은 일반적인 VQ approaches의 latent-space feature map과 유사하게, VQShape는 representations로서 tokens 집합을 제공합니다. Input univariate TS x에 대해, token representations는 T∈RK×(dcode​+4)={τk​=(zk​,μk​,σk​,tk​,lk​)∣k=1,…,K}로 composed됩니다. Token representations는 일반적인 down-stream tasks에 유용할 수 있지만, classification tasks에서는 code histogram representations보다 덜 interpretable합니다.

Code Histogram. Computer vision에서 개발된 Concept Bottleneck Models (CBMs)에서 영감을 받아, 우리는 각 zq​∈Z를 TS 데이터에 대한 concept으로 볼 수도 있습니다. CBMs가 representations로서 concept scores를 가지는 것처럼, VQShape는 codes의 histogram 형태의 유사한 representation을 제공합니다. Equation 2에 기반하여, 우리는 code indices의 vector를 가질 수도 있습니다: q=[qk​=q=1,...,Ncode​argmin​∥z^k​−zq​∥

​k=1,…,K]. (9) 그러면, code histogram representation은 r∈RNcode​=histogram(q)로 정의되며, 여기서 r의 각 element는 q에서 index q의 frequency입니다. Intuitively, code histogram representation은 비결정적 window size와 dataset-agnostic symbols를 가진 BOSS와 analogous합니다. Classification tasks에서, 이러한 type의 representation은 더 interpretable할 수 있습니다. 왜냐하면 이러한 features에 기반한 classifiers는 interpret하고 understand하기 straightforward한 rule-like predictions를 produce할 수 있기 때문입니다.

 

VQShape 논문 Pre-training 정리 노트 (AI 연구자용)

목표: Diverse datasets를 활용한 self-supervised pre-training을 통해 dataset-agnostic features와 interpretable tokens (특히 abstracted shape codebook) 학습.

4.1 Objectives (Lpretrain​=λx​Lx​+λs​Ls​+λvq​Lvq​+λdiv​Ldiv​)

• 핵심 Loss Components:
  • Time-series Reconstruction (Lx​): 전체 input TS x를 reconstruct (x^)하여 정보 보존 능력 확보 (Eq. 4). λx​=1.
  • Subsequence Reconstruction (Ls​): 각 subsequence sk​를 해당 attribute tuple τk​=(zk​,μk​,σk​,tk​,lk​)로부터 reconstruct (sk​=S(zk​)⋅σk​+μk​)하여 원본 sktarget​과 유사하게 만듦 (Eq. 5). 이는 shape decoder S와 codebook Z가 interpretable shape 정보를 학습하도록 강제하는 핵심 역할. λs​=1.
  • Vector Quantization (Lvq​): 표준 VQ-VAE loss (코드북 Z 업데이트 및 encoder E가 코드북 벡터에 가깝게 출력하도록 유도) + Entropy Regularization (Yu et al. 2024 참고) 추가하여 codebook usage 장려 및 collapse 방지 (Eq. 6). λvq​=1,λcommit​=0.25.
  • Shape Disentanglement (Ldiv​): (Novelty) Latent tokens (특히 tk​,lk​)이 다양한 위치/길이의 shape-level information을 disentangled하게 포착하도록 유도하는 regularization (Eq. 7). κ(tk​,lk​) coordinate transformation을 통해 (tk​,lk​) 쌍들이 특정 공간에서 서로 멀어지도록 (특히 짧은 lk​ 강조) 하여, Ls​만으로는 학습하기 어려운 (tk​,lk​)의 유의미한 학습 및 local detail 포착 능력 향상. λdiv​=0.8.
• Design Rationale: Lx​ (정보량), Ls​ (형태 해석력), Lvq​ (코드북 품질), Ldiv​ (속성 분리)를 조합하여, 모델이 interpretable, disentangled, generalizable (dataset-agnostic) representations (특히 shape vocabulary)를 학습하도록 유도.

Model & Training Details:

• Architecture: MOMENT-Small 기반 (~37.1M params), T=512,K=64,dpatch​=8, Transformer (E: 8 layers, D: 2 layers, dembed​=512, 8 heads), Codebook (Ncode​=512,dcode​=8), ds​=128,lmin​=1/64.
• Dataset: 29 UEA datasets (InsectWingbeat 제외)의 training split에서 추출한 univariate TS (총 1.39M개).
• Training: 50 epochs, AdamW, Cosine LR schedule (1e−4→1e−5), Batch Size 2048, bfloat16 mixed precision.

4.2 Representations for Down-stream Tasks

• VQShape 제공 Representation 종류:
  1. Latent-space Tokens (T): 각 patch k에 대한 전체 attribute tuple τk​=(zk​,μk​,σk​,tk​,lk​)의 집합. RK×(dcode​+4) 차원. VQ-VAE/GAN의 feature map과 유사. 일반적 down-stream task에 사용 가능하나 해석은 어려움.
  2. Code Histogram (r): 입력 x를 represent하는 데 사용된 codebook indices qk​들의 빈도수 histogram. RNcode​ 차원 (r=histogram(q), Eq. 9). 각 code zq​를 concept으로 간주 (CBMs 아이디어 차용). BOSS와 유사하나 window size 가변적이고 symbol (shape)이 dataset-agnostic하게 학습됨. Classification 등에서 rule-based prediction 형태로 interpretability 높음.

---

쉬운 설명: 4 Pre-training 섹션

이 섹션은 VQShape 모델을 어떻게 학습시키는지(pre-training) 그리고 학습된 모델이 데이터를 어떤 방식으로 표현하는지(representations) 설명합니다.

1. VQShape 학습 시키는 법 (Objectives)

VQShape는 여러 가지 목표를 동시에 달성하도록 학습해요. 마치 학생이 국어, 영어, 수학, 사회 네 과목을 함께 공부하는 것과 비슷해요.

• ① 원본 그래프 복원 숙제 (Lx​): 입력된 시간 그래프를 최대한 똑같이 다시 그려내도록 학습해요. 데이터의 중요한 정보를 놓치지 않기 위해서죠.
• ② 그래프 조각 맞추기 숙제 (Ls​): 더 중요하게는, 그래프의 각 조각을 '모양 사전'에 있는 모양 코드와 다른 속성들(높낮이, 크기 등)을 이용해 정확히 복원하도록 학습해요. 이게 잘 되어야 '모양 사전' 속 모양들이 실제 의미있는 모양이 돼요.
• ③ '모양 사전' 품질 관리 (Lvq​): '모양 사전(codebook)'을 똑똑하게 만들어요. 사전 속 다양한 모양들을 골고루 사용하도록 격려하고, 사전 자체가 잘 학습되도록 관리해요.
• ④ 다양한 위치/길이의 모양 찾기 숙제 (Ldiv​): VQShape만의 특별한 숙제예요! 모델이 그래프의 여러 다른 위치에서, 그리고 다양한 길이(특히 짧은 길이!)의 모양들을 잘 찾아내도록 유도해요. 이렇게 하면 '어떤 모양'인지와 '어디서, 얼마나 길게' 나타나는지를 더 잘 구분해서 학습할 수 있어요(disentanglement).

모델 설정 및 학습 데이터: VQShape는 중간 크기의 AI 모델(MOMENT-Small)과 비슷한 구조를 가져요. 아주 많은 종류의 시간 그래프 데이터(29개 데이터셋 모음)를 가지고 50번 반복 학습해요. 이렇게 다양한 데이터로 학습해야 어떤 데이터가 와도 잘 작동하는 '범용 모양 사전'을 만들 수 있겠죠.

2. 학습된 VQShape가 데이터를 표현하는 두 가지 방법 (Representations)

학습이 끝난 VQShape는 새로운 시간 그래프가 들어왔을 때, 그 그래프를 요약해서 보여줄 수 있는데, 크게 두 가지 방식이 있어요.

• ① 상세 정보 리스트 (Latent-space Tokens T): 그래프를 분석하고 얻은 각 조각에 대한 5가지 정보(모양 코드, 높낮이, 크기, 시작 위치, 길이)를 전부 다 보여주는 방식이에요. 정보가 아주 상세하지만, 사람이 한눈에 이해하기는 좀 복잡할 수 있어요.
• ② 모양 빈도수 그래프 (Code Histogram r): '모양 사전'에 있는 각 기본 모양들이 입력된 그래프를 설명하는 데 몇 번이나 사용되었는지 세어서 막대그래프처럼 보여주는 방식이에요. 예를 들어, "이 그래프는 5번 모양 10번, 23번 모양 5번 사용했어" 와 같이 알려주죠. 훨씬 간결하고 직관적이어서, 특히 그래프의 종류를 분류하는 등의 작업에서 왜 그런 판단을 했는지 이해하기 쉬워요 (마치 중요한 '컨셉'이나 '단어' 빈도를 세는 것과 비슷해요).

 

 

 

 

 

 

 

처리 순서: 인풋 -> 임베딩(E) -> 속성 예측(Adec​) -> 유사 코드북 대체(VQ, Z 사용) -> 전체(D), 조각(S) 리컨스트럭트

학습 과정:

1. 리컨스트럭트 결과 확인: 모델이 복원한 결과물들 (x^ 와 sk​) 이 원본 (x 와 sktarget​)과 얼마나 다른지 오차(Loss) 를 계산해요. (주요 Loss: Lx​,Ls​)
2. 추가 목표 확인: 코드북을 잘 사용하고 있는지, 속성들을 잘 분리해서 학습하고 있는지도 추가적인 오차(Loss) 로 계산해요. (주요 Loss: Lvq​,Ldiv​)
3. Loss 전파 및 업데이트: 계산된 전체 오차(Lpretrain​)를 줄이는 방향으로, 모델의 각 부분을 조금씩 수정(업데이트)해요. 이때 오차 정보(gradient)가 모델의 뒤쪽부터 앞쪽으로 쭉 흘러가면서 관련된 모든 부분을 업데이트해요.

결론적으로, 사용자님이 말씀하신:

• 임베딩 레이어 (Transformer Encoder E)
• 속성 예측 레이어 (Attribute Decoder Adec​)
• 코드북 (Z)
• 디코더 (TS Decoder D 와 Shape Decoder S)

이 4가지 (실제로는 5가지 컴포넌트) 모두가 학습 과정에서 업데이트되는 것이 맞습니다. 각 오차(Loss) 항목들이 서로 다른 컴포넌트 학습에 조금씩 더 기여하는 부분이 있지만, 전체적으로는 모든 부분이 함께 학습되며 성능이 개선됩니다.