카카오의 언어모델, Kanana 테크니컬 리포트 공개

간단 소개

카카오가 자체 개발한 Kanana 언어모델 패밀리의 기술 보고서를 공개하고, Kanana Nano 2.1B 모델을 오픈소스로 공개했습니다.

AI Summary

카카오 Kanana 모델 패밀리
- 카카오에서 개발한 실용적인 AI 모델로, 서비스 적용에 최적화되어 높은 성능과 비용 효율성을 목표로 함.
- 'Kanana Flag', 'Essence', 'Nano' 라인업을 완성하고, 전체 구조, 학습 과정, 성능을 담은 테크니컬 리포트를 공개함.
- 'Kanana Nano 2.1B' 모델(base, instruct, embedding)을 오픈소스로 공개하여 AI 연구 생태계에 기여하고자 함.
Kanana 모델의 특징 및 성능
- 글로벌 Top 수준의 한국어/영어 성능을 달성했으며, 특히 한국어 처리 성능이 뛰어남.
- 학습 효율성을 극대화하여 유사 사이즈 모델 대비 절반 이하의 학습 비용으로 SOTA 수준의 성능을 기록함.
- 온디바이스 환경에서도 활용 가능한 고성능 경량 모델인 'Kanana Nano 2.1B'를 제공함.
향후 발전 방향
- 강화학습 기반 기술을 통해 추론 능력, 수학, 코드 성능을 강화할 예정임.
- 연속 학습을 통해 새로운 데이터를 지속적으로 학습하고 기존 학습 내용을 유지할 수 있도록 발전시킬 계획임.
- 얼라인먼트 기술 고도화를 통해 사용자 경험을 개선하고, 멀티모달 모델로 진화시켜 나갈 것임.