포트레이트토커: 참조 이미지 없이 생성하는 텍스트-음성 기반 3D 말하는 얼굴 = PortraitTalker: Reference-Free 3D Talking Head Generation from Text and Speech

국문 초록 (Abstract)

텍스트만으로 원하는 외형을 기술하고 음성만으로 자연스럽게 구동되는 디지털 아바타는 가상 에이전트, 교육 콘텐츠, 원격 커뮤니케이션, 디지털 휴먼 제작 자동화에 중요한 기반 기술이다. 그러나 기존 말하는 얼굴 생성 연구는 대개 참조 이미지, 인물별 리깅, 또는 수작업 3D 템플릿에 의존하므로 대규모 아바타 생성과 개인화에 한계가 있다. 본 논문에서는 텍스트 프롬프트와 음성 입력만으로 사실적인 3D 말하는 얼굴을 생성하는 end-to-end 프레임워크 PortraitTalker를 제안한다. 제안 방법은 SDS(score distillation sampling) 기반 텍스트-투-3D 합성 모듈, Transformer 기반 음성 인코더를 이용한 FLAME 파라미터 예측 모듈, 그리고 미분 가능 렌더링 모듈을 통합하여 외형 생성과 발화 애니메이션을 하나의 파이프라인으로 연결한다. HDTF 데이터셋 기반 실험에서 PortraitTalker는 Lip Sync Error Confidence(LSE-C) 7.230, Lip Sync Error Distance(LSE-D) 7.712, FID 21.997을 달성하였으며, 사용자 평가에서도 립싱크 정확도 68.13%, 모션 다양성 76.89%, 영상 선명도 74.06%, 전체 자연스러움 74.76%의 우세한 선호를 보였다. 본 연구는 참조 이미지와 리깅 없이도 확장 가능한 고품질 3D talking avatar 생성이 가능함을 보이며, 텍스트 기반 캐릭터 설계와 음성 구동 애니메이션을 통합하는 실용적 방향을 제시한다.

다국어 초록 (Multilingual Abstract)

Customizable digital avatars that can be specified by text and animated directly from speech are an important building block for virtual agents, educational media, telepresence, and scalable digital human production. Existing talking-head generation methods, however, usually depend on reference images, manual rigging, or subject-specific 3D templates, which limits scalability and personalization. We present PortraitTalker, an end-to-end framework that generates photorealistic 3D talking heads directly from text prompts and speech input. The proposed pipeline combines SDS-based text-to-3D synthesis, a transformer-based speech encoder that predicts FLAME expression and pose parameters, and a differentiable renderer that produces temporally coherent videos. Experiments on the HDTF dataset show that PortraitTalker achieves an LSE-C of 7.230, an LSE-D of 7.712, and an FID of 21.997. In a user study, the proposed method is preferred in terms of lip-sync accuracy (68.13%), motion diversity (76.89%), video sharpness (74.06%), and overall naturalness (74.76%). These results demonstrate that high-quality 3D talking avatars can be generated without reference images or manual rigging, providing a practical path toward scalable avatar creation.