카카오의 경량 멀티모달 언어모델 ‘Kanana-1.5-v-3b’ 개발부터 공개까지

간단 소개

카카오가 개발한 경량 멀티모달 언어모델 Kanana-1.5-v-3b는 뛰어난 한국어 이해 능력과 다양한 기능으로 실용성을 높였으며, 오픈소스로 공개되었습니다.

AI Summary

Kanana-1.5-v-3b 모델 개발 및 특징
- 카카오에서 개발한 경량 멀티모달 언어모델로, 이미지와 텍스트를 함께 입력받아 자연어 응답을 생성합니다.
- 지식 증류 기법을 통해 큰 모델의 지식을 경량 모델에 전달하여 성능을 향상시켰습니다.
- 한국어와 영어 모두에서 우수한 성능을 보이며, 특히 멀티모달 지시 이행 능력이 뛰어납니다.
학습 전략 및 데이터셋 구축
- 단계별 학습 전략을 통해 모델 성능을 향상시켰으며, KoMIF 데이터셋을 구축하여 한국어 멀티모달 지시 이행 능력을 강화했습니다.
- KoText-HQ 데이터셋을 통해 텍스트 이해 능력을 향상시키고, DPO를 적용하여 인간 선호도에 맞는 응답을 생성하도록 개선했습니다.
모델의 기능 및 활용
- 뛰어난 지시 이행 능력, 한국 문화에 대한 이해, 이미지 속 텍스트 인식 능력, 차트 및 표 인식 능력, 수학 문제 풀이 능력 등 다양한 기능을 제공합니다.
- 오픈소스로 공개되어 누구나 사용 가능하며, AI 생태계 성장에 기여할 것으로 기대됩니다.