AI가 만들어주는 나만의 목소리(SK AI SUMMIT 발표사례)

간단 소개

SK플래닛의 AI Voice Conversion 기술은 LLM과 생성 모델을 활용하여 개인화된 음성 및 노래를 생성하며, 그 핵심 기술과 평가 지표, 한계점을 소개합니다.

AI Summary

AI 음성 변환 기술 개요

SK AI SUMMIT에서 소개된 AI Voice Conversion 기술은 Large Language Model과 Generative Model 발전에 기반합니다.
Text2Speech의 한계를 넘어, Speech Voice Conversion 및 Singing Voice Conversion을 통해 사람처럼 말하고 노래하는 개인화된 콘텐츠 제작이 가능합니다.
Speech Voice Conversion은 원본 음성의 내용과 리듬을 유지하며 타겟 화자의 음색과 톤으로 변환하는 기술입니다.
Singing Voice Conversion은 원본 노래의 내용, 리듬, 멜로디를 유지하며 타겟 화자의 음색과 톤으로 노래를 생성합니다. Zero-Shot Voice Conversion Network 구성
Feature Extractor는 음성에서 semantic, pitch, timbre/style 특징을 분리 추출합니다.
Timbre Extractor는 timbre leakage를 완화하고 타겟 음색을 정제하며, Length Regulator는 내용과 소리의 시간적 일관성을 정렬합니다.
**Diffusion Transformer Decoder (U-DiT)**는 스타일, 피치, 내용 정보를 결합하여 고품질 Mel-Spectrogram을 생성합니다.
**Vocoder (BigVGAN)**는 생성된 Mel-Spectrogram을 실제 들을 수 있는 waveform으로 변환하여 최종 음성을 완성합니다. 평가 지표 및 한계점
Speaker Cosine Similarity로 두 음성의 화자 특성 유사도를 평가하며, F₀ Correlation 및 F₀ RMSE로 피치 궤적의 유사도와 음정 편차를 측정합니다.
주요 한계점은 생성 시간/GPU 자원, , 문제이며, , , 등으로 대응합니다.