Gemma 3 270M - Google's NEW Tiny LLM in 7 mins!!
- Google에서 초소형 Gemma 모델(2억 7천만 파라미터) 출시, 개인 컴퓨터나 휴대폰에서 실행 가능 📱
- 이 모델은 특히 미세 조정에 최적화되어 특정 작업에 맞게 조정 용이 🛠️
- 전력 효율성이 뛰어나 Pixel 9 Pro에서 25회 대화 시 배터리 소모량이 1% 미만 🔋
- 256,000개의 토큰을 가진 큰 어휘력을 제공하여 다양한 작업 수행 가능 📚
- Instruction-tuned 모델로, 복잡한 대화는 어렵지만 지시 사항을 잘 따름 🎯
- 엣지 장치나 컴퓨팅 자원이 부족한 환경에서 유용하게 사용 가능 🌐
- Raspberry Pi 클러스터에서 특정 작업을 수행하거나, 개인 정보 보호가 중요한 경우 적합 🔒
- 텍스트 요약, 스토리 작성 등 명확하게 정의된 작업에 활용 가능 ✍️
- 개발자에게는 모델 미세 조정을 통해 특정 목적에 맞게 활용하는 것을 추천 👨💻
- Transformer.js를 사용하여 웹 브라우저에서 로컬로 실행 가능 (인터넷 연결 없이도 작동) 🌐
- Olama를 통해 쉽게 다운로드하여 사용 가능 ⬇️
- 양자화 버전에 따라 성능 차이가 있을 수 있음을 유의해야 함 🤔
- 전반적으로 인상적인 성능은 아니지만, Google의 노력을 칭찬할 만함 👍