Gemini 3.0 Pro (ECPT Checkpoint - TESTED) : They NERFED IT! 10% LOW SCORE but still good.
- 새롭게 출시된 Gemini 3.0 Pro ECPT 체크포인트는 이전 버전 대비 성능이 저하된 것으로 평가됩니다. 📉
- 일부 사용자들의 과도한 기대(예: 웹 OS 생성)와 달리, 실제 벤치마크에서는 실망스러운 결과를 보였습니다. 😒
- 바닥 평면도, SVG 팬더, 3JS 포켓볼, 체스판 등 다양한 테스트에서 이전 체크포인트보다 품질이 떨어지거나 기능이 부족했습니다. 🛠️
- 특히 체스 게임에서는 '어리석은 수'를 두는 등 논리적 추론 능력이 약화된 모습을 보였습니다. ♟️
- 웹 OS 생성과 같은 쉬운 프롬프트는 모델의 진정한 능력을 평가하는 데 부적절하며, 다른 모델들도 쉽게 수행할 수 있는 '속임수'에 불과하다고 지적합니다. 💡
- 3JS를 활용한 마인크래프트 게임은 작동하지만, 지연 현상과 조명 부족 등 최적화되지 않은 모습을 보였습니다. 🎮
- 블렌더 스크립트 생성 시에도 이전 버전에서 제공되던 조명 효과가 누락되는 등 세부적인 품질 저하가 관찰되었습니다. ✨
- 모델이 일반 대중 배포를 위해 양자화되었거나, 안전 설정 강화, 혹은 낮은 추론 변형일 가능성을 제기하며 성능 저하의 원인을 추측합니다. 🧐
- 여전히 좋은 모델이지만, 이전 체크포인트에 비해 '너프'된 점과 때때로 버그성 응답(예: 존재하지 않는 GitHub URL)을 보이는 점에 대해 회의적인 시각을 드러냅니다. 🐛
- 향후 너프되지 않은 버전의 출시를 기대하며, 이번 출시가 GPT5의 '제니스 체크포인트'처럼 더 나은 버전이 빛을 보지 못하는 상황이 되지 않기를 우려합니다. 🙏