[Gen AI] Diffusion-based Video Generative Models

1. Diffusion Models의 기본 개념

• Diffusion 모델: 이미지를 점진적으로 노이즈화한 후 이를 다시 복원하는 과정을 통해 새로운 데이터를 생성하는 모델.
• 이미지 생성 분야 → 비디오 생성 분야에도 적용.

2. Diffusion-based Video Generation

• 비디오 디퓨전 모델은 정적 이미지가 아닌 시간에 따라 변화하는 연속적인 프레임 생성.
• 주요 목표
  • 시간적 일관성(Temporal Consistency) 유지
  • 모션 디테일 향상
  • 현실적인 비디오 편집 & 합성 가능
• 기존 GAN 모델과의 차이점

특징	GAN 모델	Diffusion 모델
생성 방식	한번에 이미지/비디오 생성	점진적으로 노이즈 제거하며 생성
일관성	시간적 일관성 부족	시간적 일관성 높음
훈련 안정성	불안정한 훈련 과정	안정적 훈련 가능

 

3. 활용 사례

1) Image-to-Video Animation

• 정적 이미지로부터 움직이는 비디오를 생성하는 기술
• 한 장의 그림이나 사진을 주고 해당 이미지가 시간 흐름에 따라 변화하는 비디오로 변환되도록 함.
• EX) 캐릭터의 초기 이미지를 제공 해당 캐릭터가 움직이는 애니메이션 비디오를 생성하는 데 사용.

2) Video Editing

• Diffusion 모델은 기존 비디오의 특정 장면을 편집/변형하는 데 사용됨.
• 사용 사례
  • 배경 변경
  • 특정 객체의 움직임 조정
  • 스타일 변환

3) Motion Customization

• 비디오 내에서 객체의 모션을 커스터마이징할 수 있음 → 비디오 속 객체의 움직임을 사용자 정의할 수 있음.
• 기존 방법에 비해 훨씬 자연스러운 모션을 생성 가능 & 다양한 시나리오에서 응용 가능.

4. Evaluation & Safety

• 비디오 디퓨전 모델: 단순히 현실감 있는 비디오를 생성하는 것만이 아니라 안전하고 윤리적인 비디오 생성이 중요.
• 디퓨전 모델의 평가 지표와 안전성 강화 방안에 대한 논의.
• 비디오 생성 모델의 평가 지표
  
  • Fréchet Video Distance (FVD):
    • 비디오 생성의 품질과 일관성을 평가.
    • 생성된 비디오가 얼마나 사실적인지와 모션이 자연스러운지를 측정.
  • Temporal Consistency:
    • 비디오의 프레임 간 일관성을 평가.
    • EX) 캐릭터의 얼굴이 프레임마다 다르게 보이는 문제를 해결하기 위해 사용됨.
  • Perceptual Quality:
    • 생성된 비디오가 시각적으로 얼마나 자연스럽고 매력적인지를 평가.
• 모델 사용 시 발생할 수 있는 위험 요소 및 안전 기술
  • 위험 요소
    -딥페이크 비디오 생성: 디퓨전 모델을 사용하여 사실적인 딥페이크 비디오를 생성할 수 있음 → 이를 악용하면 허위 정보나 사기에 사용될 가능성 O
    -저작권 문제: 생성된 비디오가 저작권이 있는 콘텐츠를 포함할 경우 문제 발생 가능.
    
    
  • 안전 기술 적용 방법
    -Content Moderation: 생성된 비디오를 자동으로 검사 → 불법 콘텐츠나 유해한 콘텐츠 필터링.
    -Watermarking: 생성된 비디오에 디지털 워터마크를 삽입하여 해당 비디오가 AI로 생성되었음을 표시.
    -Ethical Guidelines: 비디오 생성 시 윤리적 가이드라인을 준수 & 책임 있는 AI 사용 권장

정리

• Diffusion 모델은 기존 비디오 생성 기술을 크게 발전시킴.
• 시간적 일관성, 고해상도 생성, 모션 커스터마이제이션 등 다양한 분야에 응용 가능.
• 딥페이크와 같은 윤리적 문제를 고려하여 안전하게 사용하는 것이 중요함.