논문리뷰

diffusion : 논문리뷰 : Geometric Trajectory Diffusion Models

AI바라기 2025. 1. 10. 13:17

 

Geometric Trajectory Diffusion Models 논문 정리 노트

Purpose of the Paper

기존의 generative models은 molecule 및 protein design과 같은 3D geometric system을 생성하는 데 큰 가능성을 보여주었지만, 대부분 static structures에만 초점을 맞추고 physical systems의 dynamic nature를 간과했습니다. 이 논문은 최초로 diffusion model을 사용하여 3D geometric trajectories의 temporal distribution을 모델링하는 Geometric Trajectory Diffusion Models(GeoTDM)를 제안합니다. 이를 통해 complex spatial interactions과 physical symmetries, 그리고 temporal correspondence를 모두 포착하여 geometric trajectories를 생성하는 것을 목적으로 합니다. 기존 연구들이 equilibrium states of complex systems에만 초점을 맞춘 반면, 이 논문은 dynamic nature를 고려하여 real-world processes를 더욱 잘 반영하고자 했습니다.

Key Contributions

  • 최초로 geometric trajectories의 temporal distribution을 모델링하기 위한 diffusion model인 GeoTDM를 제안했습니다.
  • Equivariant temporal kernels을 사용한 diffusion models이 desired symmetry를 가진 density를 유도할 수 있음을 이론적으로 증명했습니다.
  • SE(3)-equivariant spatial convolution과 temporal attention을 결합한 새로운 transition kernel을 개발했습니다.
  • Conditional generation을 위한 expressive trajectory distribution을 유도하기 위해 generalized learnable geometric prior를 forward diffusion process에 도입했습니다.
  • Physical simulation, molecular dynamics, pedestrian motion 등 다양한 시나리오에서 unconditional 및 conditional generation에 대한 광범위한 실험을 수행했습니다.

Novelty

  • Geometric trajectories 생성을 위한 최초의 diffusion model을 제시했습니다.
  • Equivariant temporal diffusion over geometric trajectories라는 새로운 개념을 도입하였으며, reverse process는 equivariant transition kernels에 의해 parameterized 되어 generated trajectory의 desired physical symmetry를 보장합니다.
  • Equivariant spatial convolution과 temporal attention을 결합한 새로운 temporal denoising network인 EGTN(Equivariant Geometric Trajectory Network)을 제안했습니다. 이를 통해 trajectories의 complex spatial interactions과 temporal correlations를 효과적으로 포착할 수 있습니다.
  • Conditional generation을 위해 learnable geometric prior를 도입하여 temporal conditioning을 강화했습니다.

Experimental Highlights

  • N-body physical simulation, molecular dynamics, pedestrian trajectory prediction 등 다양한 tasks에서 unconditional 및 conditional trajectory generation을 평가했습니다.
  • GeoTDM은 particle simulation에서 최대 56.7% 낮은 prediction score, molecular dynamics simulation에서 16.8% 낮은 forecasting error를 기록하며 기존 approaches를 consistently outperform 했습니다.
  • 다양한 metrics를 통해 GeoTDM이 significantly higher quality의 realistic geometric trajectories를 생성할 수 있음을 입증했습니다.
  • Temporal interpolation 및 trajectory optimization과 같은 additional applications에서도 GeoTDM이 우수한 성능을 보임을 확인했습니다.
  • Ablation studies를 통해 core design choices (diffusion prior, EGTN)의 중요성을 검증했습니다.

Limitations

  • Diffusion models의 특성상 multi-step sampling을 수행해야 하기 때문에 계산 비용이 상대적으로 높습니다. (App. C.3.에 empirical runtime benchmarks 및 추가 discussion 제공)

Future Work

  • GeoTDM의 sampling efficiency를 개선하기 위해 faster solvers (DDIM, DPMSolver)를 도입하거나, consistency distillation, latent diffusion models 등을 적용할 수 있습니다.
  • GeoTDM을 protein MD, robot manipulation, motion synthesis와 같은 더 많은 tasks로 확장할 계획입니다.

 

 

Abstract

Generative models은 3D 기하학적 시스템을 생성하는 데 큰 가능성을 보여주었으며, 이는 분자 및 단백질 디자인과 같은 많은 자연 과학 분야에서 근본적인 문제입니다. 그러나 기존 접근 방식은 정적 구조에서만 작동하며, 물리적 시스템이 본질적으로 항상 동적이라는 사실을 무시합니다. 본 연구에서는 3D 기하학적 trajectory의 시간적 분포를 모델링하기 위한 최초의 diffusion model인 GeoTDM (geometric trajectory diffusion models)을 제안합니다. 이러한 분포를 모델링하는 것은 역학에 포함된 물리적 대칭과 시간적 대응을 갖춘 복잡한 공간적 상호 작용을 모두 포착해야 하므로 어렵습니다. 우리는 equivariant temporal kernels을 사용한 diffusion models이 원하는 대칭성을 가진 밀도를 생성할 수 있음을 이론적으로 입증하고, SE(3)-equivariant spatial convolution과 temporal attention을 활용하는 새로운 transition kernel을 개발합니다. 또한, 조건부 생성을 위한 표현력 있는 trajectory 분포를 유도하기 위해, 시간적 조건을 강화하기 위해 forward diffusion process에 일반화된 학습 가능한 기하학적 prior를 도입합니다. 물리적 시뮬레이션, 분자 역학, 보행자 모션을 포함한 다양한 시나리오에서 무조건적 및 조건적 생성에 대한 광범위한 실험을 수행합니다. 광범위한 측정 기준에 대한 실증적 결과는 GeoTDM이 훨씬 더 높은 품질의 사실적인 기하학적 trajectory를 생성할 수 있음을 보여줍니다.

 

 

 

1 Introduction

기하학적 구조를 위한 머신 러닝은 물리 법칙에 의해 구동되는 입자 시스템부터 생화학의 분자 역학에 이르기까지 많은 자연 과학 문제에서 기본적인 작업입니다. 이러한 기하학적 데이터를 모델링하는 것은 물리적 대칭 제약으로 인해 어려우며, 이미지 및 텍스트와 같은 일반적인 스칼라 비기하학적 데이터와 근본적으로 다릅니다. 최근 generative models의 발전으로, 작은 분자 및 단백질과 같은 3D 기하학적 구조를 생성하는 데 많은 연구가 제안되어 복잡한 시스템의 평형 상태를 해결하는 데 큰 가능성을 보여주고 있습니다. 이러한 성공에도 불구하고, 이러한 기존 방법은 정적 구조를 합성하는 데 국한되고 중요한 실제 프로세스가 시간에 따라 진화한다는 사실을 무시합니다. 예를 들어, 분자와 단백질은 정적이지 않고 항상 분자 역학에 따라 변하며, 이는 가능한 결합 활동을 분석하는 데 중요한 역할을 합니다. 본 논문에서는 추가적인 시간 차원을 가진 기하학적 trajectory의 generative modeling을 연구하는 것을 목표로 합니다. 이 문제는 더 실용적이고 중요하지만 몇 가지 중요한 과제가 있어 매우 까다롭습니다. 첫째, 3D의 기하학적 역학은 어디에서나 물리적 대칭을 보존합니다. 분자 역학의 trajectory에 전역 이동 또는 회전을 적용하더라도 전체 trajectory는 여전히 동일한 역학을 설명하며 generative model은 동일한 likelihood를 추정해야 합니다. 둘째, trajectory는 본질적으로 서로 다른 시간 단계의 프레임 간의 대응을 포함하므로 generative models이 시간적 상관 관계를 포착하기 위한 높은 capacity를 보유해야 합니다. 마지막으로, 단일 구조에서 여러 개로 구성된 trajectory로 이동함에 따라, 우리가 관심을 갖는 분포는 초기 조건과 역학의 진화 과정에서 주입된 잠재적 불확실성을 모두 고려할 때 훨씬 더 고차원적이고 다양해집니다.

이를 위해, 이미지, 비디오, 분자와 같은 다양한 영역에서 state-of-the-art generative model인 diffusion models을 통해 기하학적 trajectory의 시간적 분포를 모델링하기 위한 원칙적인 방법인 GeoTDM (geometric trajectory diffusion models)을 제안합니다. 우리의 핵심 혁신은 생성된 trajectory의 바람직한 물리적 대칭을 보장하는 equivariant transition kernels에 의해 역과정이 매개변수화되는 기하학적 trajectory에 대한 equivariant temporal diffusion을 설계하는 데 있습니다. 복잡한 공간적 상호 작용과 시간적 상관 관계를 더 잘 파악하기 위해, equivariant spatial convolution과 temporal attention을 쌓는 새로운 temporal denoising network를 개발합니다. 우리의 개발은 trajectory의 바람직한 물리적 대칭을 보장할 뿐만 아니라 기하학적 시스템의 역학에 포함된 복잡한 공간 및 시간적 대응을 포착합니다. 또한, generative modeling을 활용함으로써 GeoTDM은 처음부터 다양하면서도 고품질의 기하학적 trajectory를 생성하고, 보간 및 외삽을 수행하고, noisy trajectory를 최적화하는 등 제안된 diffusion framework 하에서 높은 다양성을 누립니다.

요약하면, 다음과 같은 기여를 합니다. 1. 기하학적 trajectory를 생성하기 위한 새로운 temporal diffusion model인 GeoTDM을 제시합니다. 기하학적 trajectory에 대한 무조건 및 조건부 분포를 모두 모델링하는 데 중요한 equivariance를 충족하도록 diffusion process를 설계합니다. 특히, 시간적 조건화의 유연성을 높이기 위해 조건부 학습 가능한 equivariant prior도 제안합니다. 2. denoising network의 equivariance를 충족하기 위해 기하학적 trajectory에서 작동하는 graph neural network인 EGTN을 도입합니다. 이는 또한 equivariant cross-attention을 사용하여 주어진 trajectory에 대한 조건을 허용하여 GeoTDM의 중추 역할을 하기에 적합합니다. 3. 입자 시뮬레이션, 분자 역학 및 보행자 trajectory 예측을 포함한 무조건 및 조건부 trajectory 생성 작업 모두에서 GeoTDM을 평가합니다. GeoTDM은 분자 역학 시뮬레이션에서 무조건 생성에 대한 최대 56.7% 더 낮은 예측 점수와 조건부 생성에 대한 16.8% 더 낮은 예측 오차와 함께 다양한 지표에서 기존 접근 방식을 일관되게 능가할 수 있습니다. 또한 GeoTDM이 시간적 보간 및 trajectory 최적화와 같은 몇 가지 추가 애플리케이션을 성공적으로 수행하는 것도 보여줍니다.

 

 

이 논문은 3D 기하학적 trajectory의 generative modeling이라는, 아직까지 많이 연구되지 않았지만 매우 중요한 문제를 다룹니다. 기존 연구들이 주로 정적인 3D 구조 생성에 집중했던 반면, 이 논문은 시간에 따라 변화하는 trajectory를 생성하는 데 초점을 맞추고 있습니다.

핵심 문제 의식:

  • 분자, 단백질 등 실제 세계의 많은 시스템은 정적이지 않고 역동적으로 변화합니다.
  • 기존의 generative models은 이러한 시간적 변화를 고려하지 못했습니다.
  • 3D trajectory 생성은 (1) 물리적 대칭성(equivariance) 유지, (2) 시간적 상관관계 포착, (3) 고차원적이고 다양한 분포 모델링 이라는 세 가지 측면에서 매우 어렵습니다.

제안하는 솔루션: GeoTDM (Geometric Trajectory Diffusion Models)

  • Diffusion models을 기반으로 한 새로운 3D 기하학적 trajectory 생성 모델입니다.
  • Equivariant temporal diffusion: trajectory 생성 시 물리적 대칭성을 보장하는 핵심 기술입니다.
    • Equivariant transition kernels을 사용하여 reverse process를 매개변수화합니다.
    • Equivariant spatial convolution과 temporal attention을 결합한 EGTN (Equivariant Graph Temporal Network) 을 제안합니다. EGTN은 역학에 내재된 복잡한 공간적, 시간적 상관관계를 포착합니다.
  • Generalized learnable geometric prior: 조건부 생성의 유연성을 높이기 위해, forward diffusion process에 학습 가능한 기하학적 prior를 도입합니다.

주요 기여:

  1. GeoTDM: 3D 기하학적 trajectory 생성을 위한 최초의 temporal diffusion model을 제안합니다.
  2. EGTN: GeoTDM의 backbone으로, equivariant한 연산을 통해 trajectory의 물리적 대칭성을 보장하는 새로운 graph neural network를 제안합니다.
  3. 실험적 검증: 입자 시뮬레이션, 분자 역학, 보행자 trajectory 예측 등 다양한 task에서 GeoTDM의 우수성을 입증했습니다. 특히, 무조건 생성에서 최대 56.7%, 조건부 생성에서 16.8%의 성능 향상을 보였습니다.

이 논문이 중요한 이유 (AI 연구자 관점):

  • 새로운 문제 정의: 기존에 주목받지 못했던 3D trajectory 생성이라는 중요하고 도전적인 문제를 제기합니다.
  • 혁신적인 방법론: Equivariant temporal diffusion과 EGTN이라는 독창적인 기술을 제안합니다.
  • 실질적인 성능 향상: 다양한 실험을 통해 제안하는 방법의 효과를 입증했습니다.

추가적으로, 이 논문은:

  • Diffusion models을 3D 기하학적 trajectory 생성에 적용한 최초의 연구입니다.
  • Equivariance를 보장하는 새로운 graph neural network 아키텍처를 제안합니다.
  • 분자 역학, 로봇 공학, 컴퓨터 비전 등 다양한 분야에 응용될 수 있는 잠재력을 가지고 있습니다.

 

 

 

 

 

 

2 Related Work

Trajectory modeling for geometric systems.

기하학적 데이터의 역학을 모델링하는 것은 여러 객체 간의 상호 작용을 포착해야 하기 때문에 어렵습니다. Graph neural networks는 이러한 복잡성을 해결하기 위한 자연스러운 도구로 부상했습니다. 후속 연구들은 모델 일반화를 촉진하기 위한 중요한 요소로 equivariance를 발견했습니다. 이러한 노력 중에서 Radial Fields와 EGNN은 스칼라와 벡터 간의 equivariant operations으로 작동하는 반면, TFN과 SE(3)-Transformer는 고차 spherical tensors로 일반화됩니다. 상당한 진전이 이루어졌지만, (시간) 프레임 간 예측만 수행하기 때문에 롤아웃 추론을 수행할 때 오차 누적이 발생합니다. 최근 EqMotion은 trajectory를 예측하도록 학습하여 문제에 접근했습니다. 이에 비해, 우리의 GeoTDM은 generative modeling framework를 활용하여 generation 및 interpolation과 같은 광범위한 작업을 가능하게 합니다.

 

Generative models in geometric domain.

분자 생성, 단백질 생성, 항체 디자인과 같은 기하학적 데이터에 대한 generative models 개발에 대한 관심이 높아지고 있습니다. 최근 diffusion-based models은 이러한 많은 작업에서 flow-based 및 VAE-based 접근 방식에 비해 우수한 성능을 보이는 것으로 나타났습니다. 이러한 유익한 성과에도 불구하고, 대부분의 기존 작업은 3D 공간의 분자와 같은 기하학적 시스템의 스냅샷만 생성하는 반면, 우리의 GeoTDM은 3D의 MD trajectory와 같은 여러 프레임이 있는 trajectory를 생성하도록 일반화합니다. DiffMD는 Markovian 가정을 사용하여 MD 모델링을 구체적으로 다루는 반면, GeoTDM은 전체 trajectory를 따라 모든 프레임의 joint distribution을 직접 포착합니다.

 

Temporal diffusion models.

Diffusion models은 최근 비디오 생성, 시계열 예측, PDE 시뮬레이션, 인간 모션 합성, 보행자 trajectory 예측과 같은 작업에서 데이터의 자연스러운 시간성을 처리하도록 조정되었습니다. 이러한 작업과 달리 GeoTDM은 기하학적 그래프로 표현된 기하학적 데이터의 시간적 진화를 모델링하고 앞서 언급한 중요한 equivariance 제약을 유지합니다.

 

 

이 섹션에서는 GeoTDM과 관련된 기존 연구들을 비교하며, GeoTDM의 차별성과 기여도를 강조합니다. 주요 비교 대상은 (1) 기하학적 시스템의 trajectory 모델링, (2) 기하학적 도메인에서의 generative models, (3) Temporal diffusion models 입니다.

1. Trajectory modeling for geometric systems:

  • 기존 연구의 한계:
    • 대부분 GNN (Graph Neural Networks) 을 사용하여 기하학적 데이터의 역학을 모델링하지만, frame-to-frame 예측에 그쳐 roll-out 추론 시 오차가 누적되는 문제가 있습니다. (예: Radial Fields, EGNN, TFN, SE(3)-Transformer)
    • EqMotion은 trajectory 예측을 시도했지만, generative modeling framework가 아니기 때문에 활용 범위가 제한적입니다.
  • GeoTDM의 차별성:
    • Generative modeling framework를 활용하여 generation, interpolation 등 다양한 작업이 가능합니다.

2. Generative models in geometric domain:

  • 기존 연구의 한계:
    • 분자 생성, 단백질 생성 등의 분야에서 diffusion-based models이 좋은 성과를 보이고 있지만, 대부분 3D 공간 상의 정적인 스냅샷만 생성합니다. (예: flow-based, VAE-based 모델들)
    • DiffMD는 Markovian 가정을 사용하여 MD(분자 동역학) 모델링을 시도하지만, GeoTDM은 전체 trajectory의 모든 프레임에 대한 joint distribution을 직접 포착합니다.
  • GeoTDM의 차별성:
    • 여러 프레임으로 구성된 trajectory (예: 3D 공간에서의 MD trajectory)를 생성합니다. 즉, 시간적 변화를 고려한 생성이 가능합니다.

3. Temporal diffusion models:

  • 기존 연구: 비디오 생성, 시계열 예측 등 다양한 분야에서 시간적(temporal) 데이터를 다루기 위해 diffusion models을 활용합니다.
  • GeoTDM의 차별성:
    • 기하학적 데이터를 geometric graph로 표현하고, equivariance 제약을 유지하면서 시간적 변화를 모델링합니다. 즉, 단순한 시간적 데이터 생성을 넘어 3D 공간에서의 물리적 법칙을 고려한 trajectory 생성을 수행합니다.

핵심 요약:

  • GeoTDM은 기존 연구들과 달리 generative modeling framework를 사용하고, equivariance를 유지하면서 3D trajectory를 생성하는 최초의 temporal diffusion model입니다.
  • 이를 통해, 기존 연구의 한계점이었던 오차 누적 문제, 정적인 구조 생성, 물리 법칙 미고려 등의 문제들을 해결하고, 더욱 정확하고 활용도 높은 trajectory 생성을 가능하게 합니다.

결론적으로, 이 섹션은 GeoTDM이 기존 연구들과 비교했을 때 어떤 점에서 독창적이고, 어떤 기여를 하는지 명확하게 보여주고 있습니다. 특히, 3D 기하학적 trajectory 생성이라는 새로운 문제에 대한 해결책을 제시한다는 점에서 AI 연구자들에게 주목할 만한 가치가 있습니다.

 

 

3 Preliminaries

Diffusion models.

Diffusion models은 Markovian forward diffusion process와 reverse denoising process를 특징으로 하는 latent variable generative model의 한 유형입니다. forward process는 Gaussian transition kernel q(x_τ | x_{τ-1}) = N(x_τ ; √(1 - β_τ)x_{τ-1}, β_τ I) 을 사용하여 T 단계에 걸쳐 입력 x0 (예: 이미지 픽셀 또는 분자 좌표)를 점진적으로 교란합니다. 여기서 {x_τ}<sup>T</sup><sub>τ=1</sub>는 입력과 동일한 차원을 갖는 latent variables이고 β_τ는 noise schedule을 사용하여 미리 정의되어 x_T가 N(0, I)으로 분포되는 것에 가깝습니다. Reverse process는 커널 p_θ(x_{τ-1} | x_τ) = N(x_{τ-1}; μ_θ(x_τ, τ), σ_τ^2 I)를 사용하여 p(x_T) = N(0, I) 인 prior 분포에서 다시 매핑합니다. 여기서 분산 σ_τ^2은 일반적으로 고정되고 평균 μ_θ는 매개변수 θ를 갖는 neural network에 의해 매개변수화됩니다. 이 모델은 다음과 같이 정의된 variational lower bound를 최적화하여 학습됩니다.

L_vlb = -log p_θ(x_0 | x_1) + D_KL(q(x_T | x_0) || p(x_T)) + Σ_{τ=2}^{T-1} D_KL(q(x_{τ-1} | x_τ, x_0) || p_θ(x_{τ-1} | x_τ))

학습 안정성을 위해, noise-prediction objective를 제안합니다.

L_simple := E_{x_0, ε∼N(0,I),τ} λ(τ) ||ε - ε_θ(x_τ, τ)||^2 (식 1)

여기서 x_0 ∼ p_data, τ ∼ Unif(1, T)이고, 가중치 요소 λ(τ)는 일반적으로 샘플 품질을 높이기 위해 1로 설정되고, x_τ = √(α_τ)x_0 + √(1 - α_τ)ε 이고 α_τ := Π_{s=1}^τ α_s = Π_{s=1}^τ(1 - β_s) 이며, ε_θ는 μ_θ(x_τ, τ) = (1/√(α_τ))(x_τ - (√(β_τ)/√(1 - α_τ))ε_θ(x_τ, τ))를 만족하는 평균의 특정 매개변수화입니다.

Equivariance.

함수. 함수 f가 f(g · x) = g · f(x), ∀g ∈ G이면 그룹 G에 대해 equivariant합니다. 또한, f(g · x) = f(x), ∀g ∈ G이면 f는 invariant입니다. 여기서 우리는 모든 3D 회전과 이동으로 구성된 그룹 SE(3)에 중점을 둡니다. 각 그룹 요소 g ∈ SE(3)는 회전 행렬 R과 이동 r ∈ R^3으로 표현될 수 있습니다. 노드 features h와 좌표 x를 갖는 기하학적 그래프의 경우, h', x' = f(h, x)이면, h', Rx' + r = f(h, Rx + r)이 됩니다. 즉, 출력 노드 features는 invariant이고 업데이트된 좌표는 equivariant입니다.

분포. p(g · x) = p(x), ∀g ∈ G이면 밀도 p(x)는 그룹 G에 대해 invariant라고 합니다. 직관적으로, 회전 및 이동이 동등한 기하학은 모두 동일한 구조를 나타내기 때문에 동일한 밀도를 공유해야 합니다. p(g · x | g · y) = p(x | y), ∀g ∈ G이면 조건부 분포 p(x | y)는 equivariant입니다. 이러한 속성은 대상 분포가 주어진 구조에 따라 조건부일 때 중요합니다. 관찰된 기하학이 회전/이동되면 대상 분포도 그에 따라 회전/이동해야 합니다.

Geometric trajectories and the distributions.

기하학적 trajectory를 (x^[T], h, E)로 나타냅니다. 여기서 x^[T] := [x^(0), x^(1), ..., x^(T-1)] ∈ R^{T×N×D_x}는 시간적 기하학적 좌표의 sequence이고, h ∈ R^{N×D_h}는 노드 feature이고, E는 기하학적 그래프의 연결성을 나타내는 엣지 집합입니다. T는 시간 단계의 수이고 D_x, D_h는 각각 좌표와 노드 feature의 차원을 나타내며 D_x는 일반적으로 입력 데이터에 따라 2 또는 3입니다. 이 작업에서 우리는 기하학적 그래프의 configuration이 주어진 기하학적 trajectory의 분포, 즉 p(x^[T] | h, E)를 모델링하는 데 관심이 있습니다.

Conditioning.

Trajectory 예측과 같은 일부 응용 프로그램은 조건부 생성 작업으로 볼 수 있습니다. 여기서 우리는 특정 관찰된 시간 단계에 대한 trajectory의 분포, 즉 p(x^[T] | x_c^[T_c], h, E)를 모델링하려고 합니다. 여기서 x_c^[T_c] ∈ R^{T_c×N×D_x}는 길이 T_c로 제공된 trajectory입니다.

Equivariance for geometric trajectories.

역학은 회전이나 이동에 대해 invariant여야 하므로 기하학적 trajectory의 분포도 이러한 대칭을 보존해야 합니다. 이는 다음 invariance 제약 조건에 의해 공식화됩니다.

p(x^[T] | h, E) = p(g · x^[T] | h, E), ∀g ∈ SE(3). (식 2)

여기서 g · x^[T] := [Rx^(0) + r, ..., Rx^(T-1) + r]입니다. 대신 조건부 경우는 다음을 보존해야 합니다.

p(x^[T] | x_c^[T_c], h, E) = p(g · x^[T] | g · x_c^[T_c], h, E), ∀g ∈ SE(3). (식 3)

직관적으로, 주어진 trajectory가 회전 및/또는 이동되면 미래 trajectory의 분포도 정확히 동일한 양만큼 회전 및/또는 이동해야 합니다. 단순화를 위해, 앞으로 trajectory의 분포를 설명할 때 조건 h와 E는 생략합니다.

 

이 섹션은 논문 이해에 필요한 사전 지식을 다루지만, 일반적인 내용보다는 이 논문과 직접적으로 관련된 핵심에 집중하여, geometric trajectory와 equivariance에 대한 이해를 돕고자 합니다.

1. Diffusion Models:

  • 일반적인 diffusion models에 대한 간략한 설명과 함께, 학습 안정성을 위한 noise-prediction objective (L_simple) (식 1)을 소개합니다.
  • 핵심: 이 논문에서는 geometric trajectory 생성을 위해 diffusion models을 사용하며, 특히 noise-prediction objective가 중요한 역할을 합니다.

2. Equivariance:

  • Equivariant 함수와 불변(invariant) 함수의 정의:
    • Equivariant 함수: f(g · x) = g · f(x) (그룹 G에 대한 변환)
    • Invariant 함수: f(g · x) = f(x) (그룹 G에 대한 변환)
  • 3D 회전 및 이동 그룹 SE(3)에 대한 equivariance에 집중:
    • 기하학적 그래프에서 노드 features는 invariant, 좌표는 equivariant해야 함을 강조합니다.
  • Equivariant 분포와 불변 분포의 정의:
    • Invariant 분포: p(g · x) = p(x)
    • Equivariant 조건부 분포: p(g · x | g · y) = p(x | y)
  • 핵심: 이 논문에서는 3D 공간에서의 회전 및 이동에 대한 equivariance가 매우 중요하며, 이를 통해 물리적으로 타당한 trajectory를 생성하고자 합니다.

3. Geometric Trajectories and the Distributions:

  • Geometric trajectory 표현: (x^[T], h, E)
    • x^[T]: 시간적 기하학적 좌표 sequence (T x N x D_x)
    • h: 노드 feature (N x D_h)
    • E: 엣지 집합 (그래프 연결성)
  • 모델링 목표: 기하학적 그래프의 configuration(h, E)이 주어졌을 때, geometric trajectory의 분포 p(x^[T] | h, E)를 모델링
  • 핵심: 이 논문은 시간에 따른 3D 객체의 위치 변화 (trajectory) 를 생성하며, 이를 위해 geometric graph 형태로 표현합니다.

4. Conditioning:

  • Trajectory 예측과 같은 조건부 생성 작업: p(x^[T] | x_c^[T_c], h, E)
    • x_c^[T_c]: 주어진 trajectory (길이 T_c)
  • 핵심: 이 논문은 주어진 trajectory의 일부를 기반으로 나머지 trajectory를 생성하는 조건부 생성도 다룹니다.

5. Equivariance for Geometric Trajectories:

  • 기하학적 trajectory 분포의 invariance 제약 조건:
    • 무조건 생성: p(x^[T] | h, E) = p(g · x^[T] | h, E) (식 2)
    • 조건부 생성: p(x^[T] | x_c^[T_c], h, E) = p(g · x^[T] | g · x_c^[T_c], h, E) (식 3)
  • 핵심: 회전 및 이동 변환(SE(3))에 대해 trajectory 분포가 불변(invariant) 또는 등변(equivariant)해야 함을 명시하며, 이는 물리적 타당성을 보장하는 데 매우 중요합니다.

정리하면, 이 섹션은:

  • Diffusion models, equivariance, geometric trajectory 등 논문의 핵심 개념들을 소개합니다.
  • 특히, geometric trajectory 생성에 있어서 equivariance의 중요성을 강조합니다.
  • 이후 섹션들에서 전개될 GeoTDM과 EGTN을 이해하는 데 필요한 기반 지식을 제공합니다.

결론적으로, 이 논문은 단순히 trajectory를 생성하는 것이 아니라, 3D 공간에서의 물리적 법칙(equivariance)을 고려하여 타당하고 유의미한 trajectory를 생성하는 것을 목표로 하며, 이를 위해 diffusion models을 활용하고 있음을 이해하는 것이 중요합니다.