이미지와 음성을 아우르는 카카오의 멀티모달 언어모델 Kanana-o 알아보기

간단 소개

카카오의 멀티모달 언어모델 Kanana-o는 텍스트, 이미지, 음성을 통합 이해하고 생성하며, 모델 병합을 통해 효율성을 높였습니다.

AI Summary

Kanana-o 소개
- 카카오에서 개발한 멀티모달 언어모델로, 텍스트, 이미지, 오디오를 통합적으로 이해하고 생성 가능
- **Kanana-v(Vision)**와 **Kanana-a(Audio)**를 모델 병합하여 학습 효율 극대화
- 한국어 및 영어 벤치마크에서 글로벌 경쟁력 입증
Kanana-a 상세 설명
- 오디오 인코딩 모듈을 통해 음성 신호를 LLM이 처리 가능한 형태로 변환
- 오디오 디코딩 모듈을 통해 LLM의 응답을 실제 음성 파형으로 복원
- 다양한 데이터셋(ASR, TTS, SpeechQA 등)을 활용하여 학습
Kanana-o 학습 전략 및 성능
- 모델 병합(Model Merging) 기법을 통해 학습 시간 단축 및 유연성 확보
- 이미지, 오디오, 텍스트의 다양한 조합을 처리할 수 있도록 Omni-modal 학습 데이터셋 구축
- 한국어 음성 이해 및 생성 성능에서 글로벌 모델들을 압도, 영어에서도 경쟁력 있는 성능 기록