Kanana-2 개발기 (1): Pre-training에서의 의사결정들을 중심으로

간단 소개

카카오의 차세대 언어모델 Kanana-2 개발기가 MoE 아키텍처, Muon Optimizer, FP8 인프라 최적화 등 Pre-training 의사결정을 중심으로 설명됩니다.

AI Summary

Kanana-2 모델 공개 및 특징

카카오가 자체 개발한 차세대 언어모델 Kanana-2 4종(Base, Mid-training, Instruct, Thinking) 공개.
전문가 혼합(MoE) 아키텍처 채택으로 32B 파라미터 지능을 3B 활성화하여 연산 효율 극대화.
고효율 저비용 모델로, FP8 training 및 MuonClip 등 기술 적용. Pre-training 핵심 의사결정
Muon Optimizer 채택 및 Polar Express 적용으로 안정적인 훈련 달성.
MuonClip을 통해 Attention Logit 발산 문제 해결 및 훈련 안정성 확보.
2-step Hyperparameter Transfer (데이터 Scaling Law + 모델 MuP)로 대규모 모델의 LR 최적화. 인프라 최적화
FP8 Training을 위한 Fine-grained Scaling 및 Non-GEMM 커널 직접 개발.
Multi-GPU GC 동기화, Distributed Asynchronous Checkpointing 도입으로 훈련 효율성 증대.
Prefect를 활용한 체크포인팅 워크플로우 자동화.