국내 최초 MoE 모델 ‘Kanana-MoE’ 개발기

간단 소개

카카오에서 개발한 MoE 모델 Kanana-MoE는 upcycling, 2단계 Pre-Training, Post-training 최적화를 통해 효율성과 성능을 동시에 확보했습니다.

AI Summary

MoE 모델 개발 배경 및 필요성
- LLM 모델의 파라미터 수 증가에 따른 연산 비용, 메모리 사용량 문제를 해결하기 위해 MoE 구조가 주목받음
- MoE 모델은 일부 expert 파라미터만 활성화하여 연산 효율성을 높임
Kanana-MoE 모델 개발 과정
- 기존 Dense LLM을 upcycling하여 MoE 모델을 생성, 학습 시간과 비용 절감
- 2단계 Pre-Training을 통해 MoE 모델 성능을 최적화하고, Auxiliary loss functions를 활용하여 안정적인 학습 유도
Post-Training 및 성능 결과
- Staged RL 파이프라인, Grouped GEMM 도입, On-policy distillation 적용하여 Post-training 효율성 및 성능 향상
- Kanana-1.5-15.7B-A3B 모델은 37%의 활성 파라미터만으로 8B Dense 모델에 준하는 성능 달성