논문리뷰

dataset : 논문리뷰 : LAION-SG: An Enhanced Large-Scale Dataset for Training Complex Image-Text Models with Structural Annotations

AI바라기 2024. 12. 13. 16:57

그림 1. 다양한 관계의 수에 따라 text-to-image (T2I) model인 SDXL [31]과 구조적 어노테이션 지침이 있는 T2I 모델인 SDXL-SG에서 생성된 이미지. 하나 또는 두 개의 관계의 경우, 두 모델 모두 정확하게 생성할 수 있습니다. 세 개 또는 네 개의 관계를 다룰 때, T2I model은 "hold" 및 "facing" 관계를 생성하지 못합니다. 네 개 이상의 관계가 있는 경우, T2I model의 한계가 더욱 두드러집니다. (e)와 (f)에서 각각 세 개와 두 개의 관계가 잘못 생성되었습니다. 이에 비해 SDXL-SG는 생성된 이미지에서와 같이 관계를 정확하게 포착합니다.

 

 

Abstract

text-to-image (T2I) 생성의 최근 발전은 텍스트로부터 고품질 이미지를 생성하는 데 놀라운 성공을 보여주었습니다. 그러나 기존의 T2I models은 여러 객체와 복잡한 관계를 포함하는 합성 이미지 생성에서 성능 저하를 보입니다. 우리는 이 문제를 프롬프트만 있는 기존의 이미지-텍스트 쌍 데이터 세트의 한계, 즉 정확한 객체 간 관계 어노테이션의 부족으로 귀결합니다. 이 문제를 해결하기 위해 우리는 복잡한 장면의 의미 구조를 효과적으로 나타내는 여러 객체의 속성과 관계를 정확하게 설명하는 scene graphs (SG)의 고품질 구조적 어노테이션을 갖춘 대규모 데이터 세트인 LAION-SG를 구축합니다. LAION-SG를 기반으로 우리는 생성 과정에 구조적 어노테이션 정보를 통합하기 위해 새로운 foundation model인 SDXL-SG를 훈련합니다. 광범위한 실험을 통해 우리의 LAION-SG에서 훈련된 고급 models은 기존 데이터 세트의 models보다 복잡한 장면 생성에서 상당한 성능 향상을 자랑합니다. 또한 우리는 합성 이미지 생성을 평가하는 벤치마크인 CompSG-Bench를 도입하여 이 영역의 새로운 표준을 확립합니다.

 

주제: text-to-image (T2I) 모델의 합성 이미지 생성 능력 향상

문제점:

  • 기존 T2I models은 여러 객체와 복잡한 관계가 포함된 이미지를 생성하는 데 어려움을 겪음. (성능 저하)
  • 원인: 기존 이미지-텍스트 데이터 세트의 한계. 특히 객체 간의 관계를 정확하게 나타내는 어노테이션이 부족함. 프롬프트만으로는 객체 간의 미묘한 관계를 포착하기 어려움.

해결책:

  1. 새로운 데이터 세트 구축 (LAION-SG):
    • scene graphs (SG) 기반의 고품질 구조적 어노테이션을 포함하는 대규모 데이터 세트.
    • SG는 여러 객체의 속성과 관계를 정확하게 기술하여 복잡한 장면의 의미 구조를 효과적으로 표현함.
    • 핵심: 객체 간의 관계 정보를 명확하게 제공하여 모델이 복잡한 장면을 더 잘 이해하도록 도움.
  2. 새로운 foundation model 개발 (SDXL-SG):
    • LAION-SG를 활용하여 훈련된 새로운 모델.
    • 생성 과정에 구조적 어노테이션 정보를 통합.
    • 핵심: 데이터 세트에 포함된 관계 정보를 모델 학습에 직접 활용하여 성능 향상을 도모.

결과:

  • LAION-SG로 훈련된 고급 models은 기존 데이터 세트로 훈련된 models보다 복잡한 장면 생성에서 상당한 성능 향상을 보임. (실험 결과)
  • 합성 이미지 생성 평가를 위한 새로운 벤치마크인 CompSG-Bench 도입. 이 분야의 새로운 표준 제시.

핵심 요약: 기존 T2I 모델의 한계를 극복하기 위해 객체 간 관계 정보가 풍부한 새로운 데이터 세트(LAION-SG)를 구축하고, 이를 활용하는 새로운 모델(SDXL-SG)을 개발함으로써 복잡한 장면 생성 성능을 크게 향상시켰다. 또한, 새로운 평가 기준(CompSG-Bench)을 제시하여 이 분야의 발전에 기여했다.

 

 

 

1. Introduction

텍스트-이미지 생성 (T2I) 생성 모델은 텍스트 프롬프트로부터 고품질 이미지를 생성하는 인상적인 능력을 보여주며 중요한 발전을 이루었습니다. 하지만 T2I 생성 모델을 검토할 때, 간단한 장면 생성에는 일반적으로 효과적이지만 여러 객체와 복잡한 관계 (그림 1 참조)가 포함된 복잡한 장면을 다룰 때는 성능이 현저하게 저하됩니다. 이러한 한계는 기존 텍스트-이미지 데이터 세트 내에서 복잡한 객체 간 연결에 대한 강조 부족 때문이라고 판단됩니다. 기존 T2I 연구는 주로 아키텍처 개선에 집중했으며, 이 근본적인 문제를 해결하지 못했습니다.

씬 그래프 (SG)는 이미지 콘텐츠에 대한 구조적 설명을 제공합니다. 씬 그래프는 노드 (객체 및 속성 표현)와 에지 (객체 간 관계 표현)로 구성됩니다. 텍스트의 순차적 설명과 비교하여 SG는 복잡한 장면을 설명하는 컴팩트하고 구조적인 접근 방식을 제공하여 주석 효율성을 향상시킵니다. 또한 SG는 특정 객체의 관련 속성 및 관계를 보다 정확하게 지정할 수 있게 하며, 이는 복잡한 장면 생성에 중요한 기능입니다. 하지만 기존 씬 그래프 데이터 세트는 상대적으로 규모가 작은 반면 (예: COCO-Stuff 및 Visual Genome), 대규모 데이터 세트는 주로 텍스트 주석만으로 구성됩니다.

저희 연구는 씬 그래프를 통한 복합 이미지 생성 (SG2CIM)에 중점을 두고 있습니다. 저희는 LAION-Aestheics V2 (6.5+)를 크게 확장한 LAION-SG 데이터 세트를 구축했습니다. 이 데이터 세트는 고품질, 고복합 씬 그래프 주석이 포함되어 있으며, 여러 객체, 속성 및 관계를 통해 높은 시각적 품질의 이미지를 설명합니다. 따라서 LAION-SG는 복잡한 장면의 의미 구조를 더 잘 캡슐화하여 복잡한 시나리오에 대한 생성 개선을 지원합니다. LAION-SG의 복합 장면 생성에서의 장점은 의미적 일관성에 대한 여러 지표를 사용한 추가 실험에서 검증되었습니다.

LAION-SG를 사용하여 기존 모델을 훈련하고 SG를 사용한 복합 장면 생성을 위한 새로운 baseline을 제안합니다. baseline 구축을 위해 SDXL을 기본 모델로 사용하고 보조 SG 인코더를 훈련하여 이미지 생성 프로세스 내에 SG를 통합합니다. 구체적으로 SG 인코더는 그래프 신경망 (GNN)을 사용하여 그래프에서 장면 구조를 추출하여 SG 임베딩을 최적화합니다. 이러한 임베딩은 그런 다음 기본 모델에 입력되어 고품질의 복합 이미지를 생성합니다. 저희 접근 방식은 모델의 복합 장면 생성 능력을 효율적으로 향상시키고 기초 모델을 제공합니다.

마지막으로 복합 장면 생성 평가를 위한 벤치마크인 CompSGen 벤치를 설정합니다. 이 벤치마크를 사용하여 최첨단 (SOTA) 모델과 함께 COCO-Stuff, Visual Genome 및 LAION-SG에서 훈련된 저희 baseline 변형을 평가합니다. 양적 및 질적 결과 모두 LAION-SG에서 훈련된 모델이 현재 T2I 및 SG2IM baseline과 마찬가지로 COCO-Stuff 및 Visual Genome에서 훈련된 다른 모델보다 성능이 우수하다는 것을 보여줍니다. LAION-SG 데이터 세트는 복합 장면 생성을 크게 향상시킨다는 결론을 내립니다. 저희 LAION-SG 데이터 세트는 기존 이미지 데이터 세트에 대한 복합성 주석의 선구적인 노력이며 장면 인식 및 합성을 위한 더 광범위한 응용 가능성을 지니고 있습니다. 관련 처리 코드, 기초 모델 및 벤치마크 프로토콜은 https://github.com/mengcye/LAION-SG 에서 공개적으로 제공됩니다.

요약하자면, 저희의 기여는 다음과 같습니다.

  • 저희는 복합 장면 이미지 생성을 위한 새로운 씬 그래프 (SG) 기반 데이터 세트인 LAION-SG를 소개합니다. 이 데이터 세트에는 여러 객체, 해당 속성 및 수많은 관계가 있는 고품질 SG 주석이 포함되어 있어 생성 모델이 복잡한 장면을 처리하는 기능을 향상시키고 생성된 이미지의 복잡성과 충실도를 향상시킵니다.
  • 저희는 제안된 데이터 세트에서 새로운 효율적인 기초 모델을 미세 조정합니다. 이 모델은 이미지 콘텐츠 인식에 대한 향상된 감도와 복합 장면 생성에서 경쟁력 있는 성능을 보여주며 SG-이미지 이해를 위한 새로운 baseline을 설정합니다.
  • 저희는 여러 지표를 사용하여 복합 장면 생성 평가를 위한 벤치마크인 CompSGen 벤치를 설정하고 데이터 세트와 baseline의 효과를 검증하기 위한 광범위한 실험을 수행합니다.

 

1. T2I 모델의 현 상황과 문제점:

  • 발전: 텍스트 프롬프트에서 고품질 이미지 생성에 상당한 진전. (성공적인 측면 강조)
  • 한계:
    • 단순한 장면 생성에는 효과적이지만, 여러 객체와 복잡한 관계가 얽힌 복잡한 장면 생성에는 성능 저하가 두드러짐. (핵심 문제점 명시)
    • 근본 원인은 기존 텍스트-이미지 데이터 세트가 객체 간의 복잡한 연관성을 제대로 담고 있지 못하기 때문. (문제의 핵심 원인 지적)
    • 기존 연구들은 주로 모델의 아키텍처 개선에만 초점을 맞추어 이 근본적인 문제점을 해결하지 못함.

2. Scene Graph (SG)의 역할 및 장점:

  • SG의 정의: 이미지 콘텐츠에 대한 구조적인 설명. 객체 및 속성을 나타내는 노드와 객체 간의 관계를 나타내는 에지로 구성.
  • 텍스트 대비 SG의 장점:
    • 텍스트의 순차적인 설명보다 간결하고 구조적인 방식으로 복잡한 장면을 설명 가능. → 주석 효율성 향상.
    • 특정 객체와 관련된 속성 및 관계를 더욱 정확하게 명시 가능. → 복잡한 장면 생성에 매우 중요.
  • 기존 SG 데이터셋의 한계: COCO-Stuff, Visual Genome 등 기존 SG 데이터셋은 규모가 상대적으로 작고, 대규모 데이터셋은 주로 텍스트 주석만으로 구성됨. → 복잡한 장면 생성을 위한 충분한 데이터 부재.

3. 본 연구의 핵심 내용 및 기여:

  • 연구 목표: 씬 그래프를 활용한 복합 이미지 생성 (SG2CIM).
  • LAION-SG 데이터셋 구축:
    • LAION-Aestheics V2를 대폭 확장.
    • 고품질, 고복잡도의 씬 그래프 주석 포함. (여러 객체, 속성, 관계 포함)
    • 기존 데이터셋 대비 장점: 복잡한 장면의 의미 구조를 더 잘 포착하여 복잡한 시나리오의 이미지 생성 성능 향상. (핵심)
    • 의미적 일관성 측면에서 다양한 지표를 활용한 실험을 통해 LAION-SG의 우수성 입증.
  • 새로운 Baseline 제시:
    • SDXL을 기본 모델로 사용.
    • 보조 SG 인코더를 훈련하여 이미지 생성 과정에 SG를 통합.
    • SG 인코더는 GNN을 사용하여 그래프에서 장면 구조를 추출하고 SG 임베딩을 최적화.
    • 최적화된 임베딩을 기본 모델에 입력하여 고품질 복합 이미지 생성.
    • 모델의 복합 장면 생성 능력 효율적 향상 및 기초 모델 제공.
  • CompSGen 벤치마크 구축:
    • 복합 장면 생성 평가를 위한 벤치마크.
    • 기존 SOTA 모델과 COCO-Stuff, Visual Genome, LAION-SG로 훈련된 baseline 모델을 CompSGen 벤치마크를 이용하여 평가.
    • 결과: LAION-SG로 훈련된 모델이 다른 데이터셋으로 훈련된 모델보다 성능 우수. (LAION-SG의 효과 입증)
  • 결론: LAION-SG 데이터셋은 복합 장면 생성에 크게 기여. 기존 이미지 데이터셋의 복합성 주석에 대한 선구적인 노력. 향후 장면 인식 및 합성 분야에 광범위하게 활용될 가능성 존재. 관련 코드, 모델, 벤치마크 프로토콜은 공개적으로 제공.

핵심 요약: 기존 T2I 모델의 복잡한 장면 생성 능력 부족 문제를 해결하기 위해, 객체 간의 관계 정보를 풍부하게 담고 있는 새로운 데이터셋 LAION-SG를 구축하고, 이를 활용하는 새로운 baseline 모델을 제시하여 복합 장면 생성 성능을 크게 향상시켰으며, 새로운 평가 벤치마크까지 제시하여 해당 분야 발전에 크게 기여함.

 

 

 

합성 이미지 생성. 텍스트-이미지 생성은 특히 diffusion models을 통해 크게 발전했습니다. 하지만 텍스트 데이터의 순차적인 형식은 이미지 생성에 제약을 가합니다. 이러한 제약은 여러 객체와 관련된 관계를 포함하는 합성 이미지를 생성할 때 특히 두드러집니다.

기존 연구에서는 텍스트-이미지 diffusion model의 제어 가능성을 향상시키기 위한 다양한 방법을 탐색했습니다. Compositional Diffusion은 복잡한 텍스트 프롬프트를 쉽게 생성되는 여러 부분으로 분해하지만, 접속 및 부정 연산자에 제한됩니다. Attend-and-Excite는 사전 훈련된 diffusion models이 즉각적인 강화 활성화를 통해 텍스트의 모든 엔티티를 생성하도록 유도하지만, 여전히 속성 누출 문제가 발생합니다.

다른 접근 방식은 생성을 개선하기 위해 추가적인 공간 조건을 사용합니다. GLIGEN은 원래 가중치를 고정하면서 훈련 가능한 gated self-attention 레이어를 추가하여 bounding boxes를 통합합니다. Ranni는 diffusion models 훈련을 위해 Large Language Model (LLM)에서 파싱된 레이아웃, 색상 및 키포인트를 포함하는 의미론적 패널을 통합합니다. 하지만 이러한 노력에는 많은 훈련 비용이 필요합니다.

Universal Guidance는 잘 훈련된 객체 검출기를 활용하고 생성된 이미지가 위치 안내와 일치하도록 새로운 손실을 구성합니다. BoxDiff는 cross-attention maps의 최대값을 기반으로 손실을 계산하여 원하는 객체가 지정된 영역에 나타나도록 유도합니다. RealCompo는 denoising 과정에서 텍스트 및 레이아웃 안내의 영향을 조정하여 이미지의 사실성과 복잡성 사이의 균형을 달성합니다. 그럼에도 불구하고 이러한 방법들은 일부 연구에서 LLM을 사용하여 텍스트 조건을 기반으로 공간 레이아웃 정보를 직접 생성하려고 시도함에도 불구하고 초기 bounding boxes의 정확성에 의존합니다.

텍스트-이미지 생성을 위해 이러한 모든 방법은 주로 모델 개선에 초점을 맞추고 있으며, 데이터 세트에서 부과된 한계를 근본적으로 해결하지 못합니다.

씬 그래프로부터의 이미지 생성 (SG2IM)은 객체와 그 관계가 그래프로 명시적으로 정의된 장면의 구조화된 표현을 기반으로 이미지를 생성하는 것을 포함합니다.

기존의 SG2IM 방법은 일반적으로 두 단계로 구성됩니다. 먼저 입력 씬 그래프를 레이아웃으로 변환하고, 이는 생성 모델을 사용한 이미지 개선을 위한 보조 역할을 합니다. 이러한 방법은 몇 개의 객체와 간단한 관계가 있는 이미지를 생성하는 데 효과적이지만, 관계가 추상적이 되고 객체 수가 증가하면 혼란스럽게 생성되는 경우가 많습니다.

따라서 일부 방법은 씬 그래프에서 이미지로의 정렬을 직접 학습할 것을 제안합니다. SGDiff는 contrastive learning을 사용하여 SG 인코더를 사전 훈련하고, 이는 Stable Diffusion (SD)과 결합되어 이미지를 생성합니다. SG-Adapter는 SD를 미세 조정하여 훈련되어 attention 레이어를 통해 SG 정보를 텍스트-이미지 프로세스에 통합합니다. R3CD는 SG transformers를 활용하여 추상적인 상호 작용을 학습하고 이미지 생성을 개선함으로써 대규모 diffusion models을 향상시킵니다.

이러한 방법들은 순차적인 텍스트 조건과 관련된 문제를 극복하여 모델의 의미 표현 능력을 향상시킵니다. 하지만 현재 SG-이미지 데이터 세트는 텍스트-이미지 데이터 세트의 규모와 품질에 미치지 못하여 SG2IM 방법의 품질 병목 현상을 초래합니다.

대규모 이미지-텍스트 데이터 세트 및 벤치마크. MS-COCO, Visual Genome 및 ImageNet과 같은 기존 데이터 세트는 주로 수동 주석을 통해 구축됩니다. 이러한 데이터 세트는 라벨링 측면에서 매우 정확하지만 수동 주석과 관련된 상당한 비용으로 인해 규모가 제한적입니다. 이러한 한계를 해결하기 위해 일부 접근 방식은 웹 사이트에서 데이터를 자동으로 추출하고 필터링할 것을 제안합니다. 예를 들어 Conceptual Captions 데이터 세트 (CC3M)는 약 330만 개의 이미지-텍스트 쌍을 포함하고 있으며, 확장 버전인 CC12M은 데이터 세트 크기를 1200만 쌍으로 늘립니다. LAION-5B는 약 58억 5천만 개의 이미지-텍스트 쌍으로 구성된 데이터 세트 규모를 더욱 확장하여 공개적으로 사용 가능한 가장 큰 이미지-텍스트 데이터 세트 중 하나입니다. LAION-5B의 하위 집합인 LAION-Aesthetics는 높은 시각적 품질을 위해 큐레이팅되었으며 이미지 생성 및 미적 연구를 지원하기 위한 것입니다. 하지만 항상 이미지 콘텐츠를 정확하게 반영하는 텍스트 설명을 보장하지는 않습니다. 따라서 저희는 Scene Graphs (SG) 형태의 구조화된 주석으로 LAION-Aesthetics를 향상시켜 합성 이미지 생성에 적합한 고품질의 대규모 데이터 세트를 구축합니다.

텍스트-이미지 생성에서 여러 벤치마크는 다양한 측면에서 모델 성능을 포괄적으로 평가합니다. T2I-CompBench는 속성 바인딩, 객체 관계 및 복잡한 구성을 다루는 6,000개의 합성 프롬프트를 제공합니다. HRS-Bench는 정확도, 강인성 및 편향을 포함하여 50개의 시나리오에 걸쳐 13가지 기술을 평가합니다. HEIM은 텍스트-이미지 정렬, 미학 및 다국어와 같은 12가지 차원을 평가합니다. VISOR는 SR2D 데이터 세트를 통해 공간 관계에 초점을 맞추고 HPS v2는 인간 선호도에 기반한 비교를 가능하게 합니다. 이러한 벤치마크는 텍스트 기반 이미지 생성에만 초점을 맞춥니다. 이 영역의 격차를 해소하기 위해 저희는 씬 그래프 기반의 복잡한 장면 생성 벤치마크를 처음으로 제안합니다.

 

 

정리 노트: 합성 이미지 생성 관련 연구 동향

I. 합성 이미지 생성의 발전과 한계:

  • 텍스트-이미지 생성 (T2I)의 발전: 특히 diffusion models의 발전으로 상당한 진전이 있었음.
  • 텍스트 기반 방식의 근본적인 한계: 텍스트 데이터의 순차적 형식은 여러 객체와 그 관계를 포함하는 합성 이미지를 생성하는 데 제약을 가함. (본 연구의 동기를 제공하는 핵심 문제점)

II. 텍스트-이미지 생성의 제어 가능성 향상을 위한 기존 연구:

  • 프롬프트 분해 기반:
    • Compositional Diffusion: 복잡한 텍스트 프롬프트를 여러 부분으로 분해하여 생성. 하지만 접속 및 부정 연산자에만 제한됨. (한계점 명시)
  • 활성화 유도 기반:
    • Attend-and-Excite: 사전 훈련된 diffusion models이 텍스트의 모든 엔티티를 생성하도록 유도. 하지만 속성 누출 문제 발생. (한계점 명시)
  • 추가적인 공간 조건 활용:
    • GLIGEN: trainable gated self-attention 레이어를 추가하여 bounding boxes 통합.
    • Ranni: LLM에서 파싱된 레이아웃, 색상, 키포인트를 semantic panel에 담아 diffusion models 훈련에 활용.
    • 공통적인 한계: 높은 훈련 비용 필요.
    • Universal Guidance: 잘 훈련된 객체 검출기를 활용, 새로운 손실 함수 구성.
    • BoxDiff: cross-attention maps 기반 손실 계산을 통해 원하는 객체가 특정 영역에 나타나도록 유도.
    • RealCompo: denoising 과정에서 텍스트 및 레이아웃 안내의 영향력 조절.
    • 공통적인 한계: bounding boxes의 정확성에 의존. 일부 연구에서 LLM을 사용하여 텍스트 조건으로부터 공간 레이아웃 정보를 직접 생성하려는 시도가 있지만, 여전히 근본적인 한계 존재.
  • 중요한 점: 이러한 모든 방법들은 주로 모델 개선에 초점을 맞추고 있으며, 데이터셋 자체의 한계를 근본적으로 해결하지 못함. (본 연구의 차별성을 부각하는 중요한 지점)

III. 씬 그래프 기반 이미지 생성 (SG2IM):

  • SG2IM의 정의: 객체와 그 관계가 그래프 형태로 명시적으로 정의된 씬의 구조적 표현을 기반으로 이미지 생성.
  • 전통적인 SG2IM 방법:
    • 2단계로 구성: (1) 입력 씬 그래프를 레이아웃으로 변환, (2) 생성 모델을 사용한 이미지 개선.
    • 한계: 객체 수가 적고 관계가 단순한 이미지 생성에는 효과적이지만, 관계가 추상적이고 객체 수가 증가하면 혼란스러운 결과가 발생.
  • 씬 그래프-이미지 직접 학습 방법:
    • SGDiff: contrastive learning을 사용하여 SG 인코더를 사전 훈련하고 SD와 결합하여 이미지 생성.
    • SG-Adapter: SD를 fine tuning하여 attention 레이어를 통해 SG 정보를 텍스트-이미지 과정에 통합.
    • R3CD: SG transformers를 활용하여 추상적인 상호 작용을 학습하고 이미지 생성을 개선하여 대규모 diffusion models 향상.
    • 장점: 순차적인 텍스트 조건과 관련된 문제점 극복, 모델의 의미 표현 능력 향상.
    • 한계: 현재 SG-이미지 데이터셋은 텍스트-이미지 데이터셋의 규모와 품질에 미치지 못하여 SG2IM 방법의 품질 병목 현상을 초래. (본 연구의 동기를 뒷받침하는 중요한 근거)

IV. 대규모 이미지-텍스트 데이터셋 및 벤치마크:

  • 기존 데이터셋의 한계: MS-COCO, Visual Genome, ImageNet 등 기존 데이터셋은 수동 주석으로 구축되어 정확도는 높지만, 수동 주석의 높은 비용으로 인해 규모가 제한적.
  • 자동 데이터 추출 방식: Conceptual Captions (CC3M, CC12M), LAION-5B 등 웹사이트에서 데이터를 자동으로 추출 및 필터링하여 데이터셋 규모 확장.
  • LAION-Aesthetics: LAION-5B의 하위 집합으로 높은 시각적 품질에 초점을 맞춤. 하지만 이미지 콘텐츠를 정확하게 반영하는 텍스트 설명을 항상 보장하지는 않음. (본 연구에서 LAION-Aesthetics를 확장한 이유)
  • 기존 벤치마크의 한계: T2I-CompBench, HRS-Bench, HEIM, VISOR, HPS v2 등 기존 벤치마크는 텍스트 기반 이미지 생성에만 초점을 맞춤. (본 연구에서 씬 그래프 기반 복잡한 장면 생성 벤치마크를 제안하는 이유)

본 연구의 차별점 및 핵심 요약:

기존 연구들은 모델 아키텍처 개선 또는 텍스트 기반 제어에 초점을 맞추었지만, 데이터셋의 질적인 한계를 간과했다는 점을 지적하며, 본 연구는 이러한 한계를 극복하기 위해 고품질의 대규모 씬 그래프 데이터셋인 LAION-SG를 구축하고, 이를 활용한 새로운 baseline 모델과 평가 벤치마크를 제시하는 데 초점을 맞추고 있음. 즉, 데이터 중심적 접근을 통해 복합 이미지 생성의 성능을 근본적으로 향상시키고자 함.

 

 

3. Dataset and Benchmark

 

대규모의 고품질 데이터 세트는 합성 이미지 생성을 학습하는 데 필수적입니다. 하지만 LAION과 같은 기존의 대규모 T2I 데이터 세트는 (그림 5에서 설명된 것처럼) 이미지 너머의 콘텐츠를 설명하여 생성을 오도합니다. 반대로 SG 데이터 세트는 이미지 내의 실제 콘텐츠, 즉 객체와 관계에 더 구체적으로 초점을 맞추는 경향이 있습니다. 그럼에도 불구하고 COCO 및 VG와 같은 현재의 SG 데이터 세트는 규모가 상대적으로 작고 객체 및 관계 유형이 제한적이어서 합성 이미지 생성에 충분하지 않습니다.

이를 해결하기 위해 저희는 대규모의 고품질 open-vocabulary SG 데이터 세트인 LAION-SG 데이터 세트를 제안합니다. 또한 모델의 성능을 평가하기 위해 Complex Scene Generation Benchmark (CompSGen Bench)를 도입합니다.

 

3.1. 데이터 세트 구축

저희의 LAION-SG 데이터 세트는 GPT-4o를 사용하여 자동 주석이 수행된 LAION-Aesthetic V2 (6.5+)의 고품질 이미지를 기반으로 구축되었습니다. LAION-Aesthetics V2 (6.5+)는 LAION-Aesthetics Predictor V2 모델을 사용하여 큐레이팅된, 6.5 이상의 예측된 미적 점수를 가진 625,000개의 이미지-텍스트 쌍으로 구성된 LAION-5B의 하위 집합입니다. 구축하는 동안 저작권 또는 기타 문제로 인해 데이터 세트에서 540,005개의 이미지만 사용할 수 있었습니다. 프롬프트 엔지니어링을 통해 주석 결과의 포괄성, 체계적인 구조 및 정확성을 보장하기 위해 씬 그래프 주석에 대한 일련의 특정 요구 사항을 고안했습니다. 그림 2는 LAION-SG의 자세한 구축 파이프라인을 보여줍니다. 각 구성 요소는 고품질 자동 주석을 달성하는 데 중요한 역할을 합니다.

 

 

 

첫째, 씬 그래프는 일반적으로 여러 객체와 그 관계를 포함하므로 프롬프트는 "이미지 내에서 가능한 한 많은 객체, 속성 및 그 관계 식별"을 요구합니다. 이 디자인은 장면의 모든 객체와 상호 작용에 주석이 추가되도록 장려합니다. 동일한 유형의 여러 객체에 대해서도 각 객체에 고유한 ID가 할당되어 장면의 전체 구조와 계층이 정확하게 표현되도록 합니다.

둘째, 속성 섹션에서는 각 객체가 다른 객체를 속성으로 사용하지 않고 하나 이상의 추상적인 형용사 속성을 가져야 합니다. 이 디자인은 특히 복잡한 장면에서 객체의 모양, 상태 및 특성을 배경 및 다른 요소와 구별하는 데 도움이 되므로 주석의 일관성과 명확성을 유지하기 때문에 중요합니다. 특정 객체와 추상 속성 간의 혼동을 피함으로써 주석은 더욱 해석 가능하고 일반화될 수 있습니다.

관계 섹션에서는 공간적 방향에만 의존하지 않고 구체적인 동사를 사용하여 객체 간의 관계를 설명하도록 지정합니다. 관계는 종종 단순한 공간 정보보다 씬 그래프에서 더 중요하기 때문입니다. "위에 서 있는" 또는 "들고 있는"과 같은 정확한 동사를 사용함으로써 복잡한 장면 생성에 필수적인 장면 내의 동적 상호 작용을 포착합니다.

멀티모달 대형 언어 모델 GPT-4o와 함께 이러한 프롬프트를 활용하여 씬 그래프를 나타내는 주석을 생성합니다. 저희의 주석은 모든 객체, 속성 및 관계에 대해 정확성을 달성하여 장면의 모든 세부 사항을 철저히 다루고 후속 합성 이미지 생성 작업을 위한 강력한 데이터 지원을 제공할 것으로 예상됩니다.

 

3.2. LAION-SG 데이터 세트

이러한 구축 전략을 수행함으로써 객체, 속성 및 관계로 주석이 달린 540,005개의 SG-이미지 쌍을 포함하는 대규모의 고품질 데이터 세트인 LAION-SG를 개발합니다. 이 데이터 세트는 480,005개의 샘플의 훈련 세트, 10,000개의 샘플의 검증 세트, 50,000개의 샘플의 테스트 세트로 나뉩니다. 원본 LAION-Aesthetics 텍스트-이미지 데이터 세트와 저희의 LAION-SG 데이터 세트를 비교하는 통계는 다음과 같습니다.

표 1에서 볼 수 있듯이 원본 LAION-Aesthetics 캡션에서 샘플당 평균 객체 수는 5.33개이며, 이 중 38%는 모델 훈련 중 제한적인 지침을 제공하는 고유 명사입니다. 저희의 SG 주석의 경우, 추상적인 고유 명사를 제외하고 실제 의미 관계를 반영하는 특정 명사에 초점을 맞추어 샘플당 평균 객체 수가 6.39개로 증가합니다. LAION-SG는 원본 LAION-Aesthetics 데이터 세트보다 20% 더 많은 객체 정보를 포함하며, 고유 명사를 제외하면 이러한 이점은 216%로 증가합니다.

또한, 서로 다른 주석에 대한 길이와 정확도 간의 관계를 계산했습니다. 텍스트의 주석 길이는 프롬프트의 토큰 수로 정의되고, SG의 경우 총 노드 및 에지 수로 정의됩니다. 5.2절에서 소개된 SG-IoU+, Entity-IoU+ 및 Relation-IoU+를 활용하여 주석 정확도를 측정합니다. 원본 캡션과 저희 씬 그래프의 평균 주석 길이는 각각 19.0과 32.2이며, SG는 세 가지 지표 모두에서 더 높은 정확도를 달성합니다. 그림 3은 두 가지 주석 유형 모두에 대한 샘플의 길이와 정확도를 시각화합니다. 씬 그래프는 텍스트에 비해 더 구조화되고 간결한 형태의 주석입니다. 그렇더라도 SG 길이는 여전히 희소 텍스트보다 훨씬 길고 정확도도 훨씬 높습니다. 이는 저희의 LAION-SG 데이터 세트가 더 풍부하고 미묘하며 정확한 의미적 특징을 포함하고 있어 이미지 생성에서 모델 성능을 크게 향상시켜 복잡한 장면 생성의 어려움을 근본적으로 해결할 수 있음을 보여줍니다.

또한, 그림 4 (a)에서 LAION-SG의 씬 그래프 길이 분포를 분석합니다. 대부분의 객체는 0-5 (45.72%) 또는 5-10 (41.04%) 단어로 설명되며, 더 적은 비율은 10-20 (12.46%) 단어 이상 또는 20개 이상 (0.79%) 단어로 설명됩니다. 이 범위는 모델 학습 효율성을 저해할 수 있는 과도한 길이를 피하면서 단일 단어보다 더 정확한 표현을 제공하기 때문에 합리적입니다. 전체 씬 그래프의 경우, 0-10, 10-20, 20-30, 30 이상의 단어 수 비율은 각각 10.39%, 32.15%, 28.80%, 28.66%입니다. 이러한 통계는 LAION-SG의 주석의 풍부함, 세부 사항 및 유연성을 반영합니다.

그림 4 (b)는 LAION-SG에서 가장 빈번한 상위 10개 관계 및 속성을 나타냅니다. 가장 일반적으로 포함된 관계 용어는 일반적으로 "둘러싸인", "인접한" 및 "들고 있는"과 같이 의미상 구체적입니다. 가장 흔한 관계는 "둘러싸인"으로, 80,058번 발생하여 전체 관계의 3.78%를 차지합니다. 가장 흔한 속성은 "키가 큰"으로, 전체 속성의 7.36%를 나타내고, 두 번째로 흔한 "작은"은 4.58%에 불과합니다. 10번째로 높은 관계와 속성은 각각 전체의 1.51%와 2.2%만을 차지합니다. 이러한 데이터는 LAION-SG의 주석이 매우 다양하고 광범위하게 다루어져 있으며, 가장 자주 사용되는 설명자조차 전체의 작은 부분만을 나타냄을 나타냅니다.

3.3. 복잡한 장면 생성 벤치마크

합성 이미지 생성에 대한 모델 성능을 평가하기 위해 Complex Scene Generation Benchmark (CompSGen Bench)를 제안합니다. 50,000개 이미지 테스트 세트에서 4개 이상의 관계가 있는 샘플을 복잡한 장면으로 선택하여 총 20,838개의 샘플을 얻습니다. 모델의 성능을 평가하기 위해 FID, CLIP score 및 세 가지 정확도 지표를 계산합니다.

FID는 생성된 이미지의 전반적인 품질을 측정하고, CLIP Score는 생성된 이미지와 ground truth 이미지 간의 유사성을 계산합니다. 복잡한 장면 평가는 SG-IoU, Entity-IoU 및 Relation-IoU의 세 가지 지표로 구성됩니다. 이들은 각각 씬 그래프, 객체 및 관계 측면에서 생성된 이미지와 실제 주석 간의 중첩을 나타냅니다. 5.4절에서는 CompSGen Bench에서 다양한 모델에 대한 테스트 결과를 보여줍니다.

 

 

3.1. 데이터셋 구축

  • LAION-SG 데이터셋 소개:
    • 대규모, 고품질의 씬 그래프 (Scene Graph) 이미지 데이터셋
    • 이미지 내의 객체, 속성, 관계 등을 상세하게 표현
    • LAION-Aesthetic V2 데이터셋을 기반으로 GPT-4o 모델을 이용하여 자동 주석
    • 총 540,005개의 이미지-씬 그래프 쌍으로 구성 (훈련: 480,005, 검증: 10,000, 테스트: 50,000)
  • 주석 방식:
    • 객체 인식: 이미지 내 모든 객체에 고유 ID 부여, 동일한 종류의 객체도 구별
    • 속성 부여: 추상적인 형용사 사용, 객체당 하나 이상의 속성 부여
    • 관계 표현: 구체적인 동사 사용, 반복적인 표현 방지
    • 사람 객체: "사람"으로 레이블링, 성별/나이 등 속성 추가, 객관적인 설명
  • LAION-SG 데이터셋의 특징:
    • 풍부한 정보: 객체, 속성, 관계에 대한 상세한 정보 제공
    • 정확한 주석: 높은 정확도의 주석으로 이미지 정보를 정확하게 반영
    • 다양한 주제: 다양한 종류의 이미지와 복잡한 장면 포함

3.2. LAION-SG 데이터셋 분석

  • 객체 수: LAION-SG는 기존 데이터셋보다 평균적으로 더 많은 객체 정보를 포함
  • 주석 길이: 씬 그래프 주석이 텍스트 주석보다 길고, 정확도 또한 높음
  • 객체 속성 분포: 다양한 속성이 고르게 분포되어 있음
  • 객체 간 관계 분포: 다양한 관계가 고르게 분포되어 있음

3.3. Complex Scene Generation Benchmark (CompSGen Bench)

  • 복잡한 장면 생성 평가: 4개 이상의 관계를 가진 20,838개의 이미지를 대상으로 평가
  • 평가 지표: FID, CLIP score, SG-IoU, Entity-IoU, Relation-IoU 등을 사용하여 생성된 이미지의 품질과 정확성을 평가

전체 요약

본 논문에서는 LAION-SG라는 대규모, 고품질의 씬 그래프 이미지 데이터셋을 제시합니다. 이 데이터셋은 이미지 내의 객체, 속성, 관계를 상세하게 표현하여, 합성 이미지 생성 모델 학습에 매우 유용하게 활용될 수 있습니다. 또한, CompSGen Bench라는 새로운 벤치마크를 제시하여 복잡한 장면 생성 모델의 성능을 평가하는 방법을 제시합니다. LAION-SG 데이터셋과 CompSGen Bench는 향후 이미지 생성 모델 연구에 중요한 기반이 될 것으로 기대됩니다.

핵심 내용:

  • LAION-SG 데이터셋: 대규모, 고품질, 상세한 씬 그래프 정보 포함
  • CompSGen Bench: 복잡한 장면 생성 모델 평가를 위한 벤치마크
  • 기여: 합성 이미지 생성 모델 연구 발전에 기여