Mergekit, LLM을 한번 합쳐보자!

간단 소개

Mergekit은 LLM 병합 툴킷으로, 다양한 모델과 병합 방식을 지원하며, 허깅페이스 연동이 용이하다.

AI Summary

Mergekit 소개 및 특징
- Mergekit은 LLM을 병합하는 툴킷으로, LLAMA, MISTRAL, GPT-NeoX 등 다양한 모델을 지원한다.
- Linear, SLERP, Task Arithmetic 등 여러 병합 방법을 제공하며, GPU 가속화 및 텐서 지연 로딩을 통해 메모리 효율성을 높인다.
Mergekit 사용법 및 YAML 파일 구성
- argument 또는 jupyter notebook을 통해 사용 가능하며, YAML 파일을 통해 병합 방법, 레이어 슬라이스, 모델 정의, 파라미터 등을 설정한다.
- 주요 병합 방법론으로는 가중치 평균(Linear), 구면 보간(slerp), 작업 벡터 활용(task_arithmetic) 등이 있다.
실제 활용 예시 및 결론
- SOLAR와 DataVortexS 모델을 Mergekit으로 병합하여 Open-Ko-LLM 리더보드에서 좋은 결과를 얻었다.
- 허깅페이스에 병합 모델을 업로드하여 Langchain과 쉽게 연동할 수 있다. 로컬 환경에서의 GGUF 변환은 아직 지원되지 않는다.