Gemini 1.5 EXPERIMENTAL (Pro, Flash, 8B) : New Gemini BEATS Claude? while being Cheap (Fully Tested)
- Google에서 새롭게 출시된 Gemini 1.5 Pro, Flash, 8B 모델을 능력이 뛰어난 챗봇인 Claude를 상대로 비교분석해 보았습니다. ✨
- 새로 추가된 Gemini 1.5 Flash 모델은 성능이 괄목할 만큼 향상되어 LLM 성과 순위에서 23위에서 6위로 급등하여 Claude 3.5 Sonet을 능가했습니다. 🪅
- Gemini 1.5 Pro 모델은 코딩 및 수학 문제에서 전작에 비해 큰 성과를 거두어 LLM 순위 2위에 올랐습니다. 📈
- 특히 작은 규모의 Gemini 1.5 Flash 8B 모델은 29B 모델과 동일한 수준을 넘어 Llama 37B 모델에 버등할 수 있었습니다. 🤯
- 모든 모델은 사용자 질문에 대한 답변에 다소 차이를 보였지만, 일반적인 지식 쿼리 및 기하학 문제 풀이 분야에서 좋은 성과를 보였습니다. ➗
- 코딩 문제에서는 Pro 모델이 가장 뛰어난 성과를 보였으며, Flash 8B 모델도 좋은 결과를 보였지만, 일반 Flash 모델은 코딩 문제에서 어려움을 보였습니다. 💻
- YouTube 채널에서 이 새로운 모델에 대한 자세한 정보와 함께 비교적 사용하기 쉬운 테스트 코드 및 프리뷰를 확인할 수 있습니다. 👀