Extreme Testing: Gemini 1.5 Pro Experimental
- 최근 언어 모델 출시가 경쟁적으로 진행되고 있습니다. 👀
- Goggle AI Gemini 1.5 Pro Experimental은 LMSYS 리더보드에서 최상위를 차지했으나, OpenAI의 GPT-4 Omni 등 다른 모델에 밀려 퇴색했습니다. 📊
- 리더보드 점수는 모델의 능력을 보여주는 지표가 될 수 있지만, 실제 사용 경험이 더욱 중요합니다. 👍
- Gemini 1.5 Pro Experimental은 무료로 사용 가능하고 API를 통해 안전성 조정 등 다양한 기능을 사용할 수 있습니다. 🔓
- 제안되는 테스트는 언어 능력, 데이터 해석 및 논리적 추론 능력, 량적 능력 세 가지 부문입니다. 🧮
- Gemini 1.5 Pro Experimental은 200만 토큰의 막대한 맥락 창을 가지고 있으며, 실제 사용 시점에서 그 차이가 얼마나 현실적인지 확인하고 싶습니다. 🤔
- 문제를 해결하는 방법으로 ABC 문장 형식을 사용하여 모델의 언어 생성 능력을 평가하며, 이는 다소 복잡하고 지나치게 구조화된 특징을 가지고 있습니다. 🔤