sLLM, Gemma 파인튜닝 예

간단 소개

sLLM, Gemma 모델을 한국어 요약에 특화되도록 파인튜닝하는 과정을 소개하고, QLoRA 기법을 활용하여 Colab 환경에서 효율적으로 학습하는 방법을 설명합니다.

AI Summary

Gemma 모델 소개 및 특징
- Google의 경량 개방형 모델 제품군인 Gemma는 Gemini 모델과 동일한 연구 및 기술로 구축됨
- Gemma 2B와 Gemma 7B 두 가지 유형으로 제공되며, 사전 학습 및 instruction-tuned 모델을 포함
- 책임감 있는 AI 툴킷을 통해 안전한 AI 애플리케이션 제작을 지원하고, Kera JAX, PyTorch, TensorFlow 등 주요 프레임워크와 NVIDIA GPU, 구글 클라우드 TPU 등 다양한 하드웨어를 지원
Gemma 파인튜닝 과정
- 한국어 요약 모델을 만들기 위해 naver-news-summarization-ko 데이터셋을 활용하여 Gemma 모델을 파인튜닝하는 과정 설명
- QLoRA 기법을 사용하여 Colab 환경에서 파인튜닝을 진행하고, 학습용 프롬프트 조정 및 SFTTrainer를 사용한 학습 과정 제시
- 학습된 LoRA weight를 원래 모델과 병합하여 Fine-tuned 모델을 생성하고, 이를 활용하여 한국어 요약 모델을 추론하는 과정 소개