Open LLM Leaderboard 찍먹 후기

간단 소개

카카오뱅크 Weezy님의 Open LLM Leaderboard 참여 후기: 모델 병합을 통한 LLM 성능 향상 및 카카오뱅크의 AI 기술 소개.

AI Summary

Open LLM Leaderboard 소개 및 참여 동기
- Huggingface Open LLM Leaderboard는 LLM 성능을 평가하는 벤치마크.
- 카카오뱅크 Weezy님의 CarbonVillain 모델이 1위를 달성, 모델 병합 방법론 이해 및 검증이 주 목적.
모델 병합 방법론
- 모델 병합은 여러 LLM을 결합하여 새로운 모델을 만드는 기술, 탄소 배출량 감소 및 저비용 모델링 가능.
- 주요 알고리즘으로 SLERP(구형 선형보간), TIES-Merging(중복 제거 및 불일치 해결), Passthrough(레이어 연결) 소개.
리더보드 참여 후기 및 카카오뱅크의 노력
- SLERP 기반 실험 진행, 수학 task 성능 향상에 집중, 20회 이상 실험을 통해 1~3위 달성.
- 카카오뱅크는 금융 도메인 특화 언어모델 KF-DeBERTa를 개발, 오픈소스로 공개하여 금융 및 자연어처리 기술 발전에 기여.