[Text, Texturing, and Stylization] TEXGen: a Generative Diffusion Model for Mesh Textures

https://arxiv.org/abs/2411.14740

TEXGen: a Generative Diffusion Model for Mesh Textures

TEXGen: 3D 메쉬 텍스처 생성을 위한 대규모 확산 모델

3D 그래픽의 사실감을 높이는 데 텍스처는 필수적입니다. 하지만 기존 2D 기반 확산 모델은 3D 텍스처 생성에서 일관성 부족과 시간 소모라는 한계를 보였습니다. TEXGen은 이러한 문제를 해결하기 위해 설계된 최초의 피드포워드 확산 모델로, UV 텍스처 공간에서 직접 학습하여 고품질 텍스처를 생성합니다.

---

핵심 기법 및 특징

1. 하이브리드 2D-3D 네트워크 구조
   • UV 텍스처 맵의 지역적 세부 사항을 학습하기 위해 2D 컨볼루션 사용.
   • 3D 포인트 클라우드에서 전역 구조와 일관성을 유지하기 위해 주의 메커니즘 적용.
2. 효율적인 피드포워드 접근
   • 기존 방식의 테스트 시간 최적화를 없애고, 단일 뷰 이미지와 텍스트 프롬프트만으로 고해상도 텍스처를 생성.
3. 다양한 응용 가능성
   • 텍스트 기반 텍스처 생성.
   • 텍스처 복구 및 불완전한 텍스처 맵 완성.
   • 스파스 뷰로부터 텍스처 생성.
4. 우수한 성능
   • FID와 KID 측정에서 기존 방법 대비 텍스처 품질이 크게 향상.
   • 텍스처 생성 속도는 기존 대비 최대 10배 빠름 (평균 10초 내외).

---