제로샷 음성 클로닝을 활용한 감정 보존형 영상 더빙

국문 초록 (Abstract)

본 논문은 외국어 영상물의 원본 성우 음성 특성과 감정을 보존하면서 다른 언어로 번역하는 지능형 음성 번역 시스템을 제안한다. 이를 위해 딥러닝 기반 제로샷 음성 클로닝 기술을 활용하여 기존 더빙과 자막의 한계를 극복하고자 하였다. 시스템은 음원에서 음성만 선별적으로 추출하는 음원 분리와 추출된 음성에서 각 발화의 구간을 탐지하고 텍스트로 변환하는 음성 처리, CLAP 모델을 활용한 감정 컨디셔닝 모듈, 그리고 제로샷 음성 클로닝이 가능한 텍스트-음성 변환 모델인 ZONOS TTS를 결합한 멀티모달 파이프라인으로 구성된다. 특히 본 논문의 핵심 기여인 감정 컨디셔닝 모듈은 CLAP 텍스트-오디오 인코더를 활용하여 원본 음성의 감정 상태를 8차원 벡터로 매핑하고, 이를 ZONOS TTS에 조건으로 전달하여 감정이 보존된 음성 합성을 수행한다. “The Simpsons” 애니메이션 클립을 대상으로 한 실험에서 51명에 대한 사용자 선호도 평가 결과, 82%의 사용자가 감정 컨디셔닝이 적용된 음성을 더 자연스럽고 명확한 감정 표현으로 평가하였다. 나아가 최신 상용 서비스와의 비교 평가에서도 62.2%의 선호도를 기록하며 감정 표현력 측면에서의 차별화된 성능을 입증하였다. 이를 통해 원본의 음성적 특성과 감정적 뉘앙스를 효과적으로 보존할 수 있음을 확인하였다. 음성 번역 결과 영상은 링크(https://m.site.naver.com/1T3Nv)에서 확인할 수 있다.

다국어 초록 (Multilingual Abstract)

This paper presents an intelligent voice translation system designed to translate foreign-language audiovisual content into another language while preserving the original speaker’s voice identity and emotional expressivity. To achieve this, we employ a deep learning-based zero-shot voice cloning framework that overcomes the limitations inherent in conventional dubbing and subtitle approaches. The proposed system constitutes a multimodal processing pipeline integrating Demucs-based source separation, Whisper and Pyannote for speech segmentation and transcription, a CLAP-based Emotion Conditioning Module, and a ZONOS TTS model for zero-shot emotional speech synthesis. A major contribution of this work lies in the Emotion Conditioning Module, which leverages a CLAP text–audio encoder to embed the emotional state of the source speech into an 8-dimensional latent vector. This embedding serves as a conditioning signal for the ZONOS TTS, enabling emotion-preserving synthesis. In a user study conducted with 51 participants using clips from The Simpsons, 82% of respondents rated the emotion-conditioned outputs as exhibiting more natural and clearly expressed emotions. Furthermore, comparative evaluations against leading commercial services demonstrated a distinct advantage, achieving a 62.2% user preference rate for emotion expressivity. These findings empirically demonstrate that the proposed system effectively preserves the vocal individuality and emotional nuances of the original speaker across languages. A demonstration video is available at [https://m.site.naver.com/1T3Nv].

목차 (Table of Contents)

• 요약
• Abstract
• Ⅰ. 서론
• Ⅱ. 관련 연구
• Ⅲ. 제안하는 시스템
• Ⅳ. 실험
• Ⅴ. 결론
• REFERENCES