이 영상에서는 Google AI Studio에서 A/B 테스트를 통해 숨겨진 Gemini 3 Pro 체크포인트에 접근하는 방법을 보여드리고, 네트워크 로그에서 이를 확인하고(2HT 체크포인트 ID 확인), 코드, 그래픽, 추론 전반에 걸쳐 벤치마킹하는 방법을 보여드리겠습니다. 제 순위표에서 Sonnet 4.5보다 약 25% 높은 순위를 기록했습니다.
--
주요 내용:
🚀 Google AI Studio의 숨겨진 A/B 테스트에서 Gemini 2.5 Pro를 선택하면 Gemini 3.0 Flash 또는 Gemini 3.0 Pro가 실행되는 경우가 있습니다.
🔎 네트워크 로그에서 "2HT"로 시작하는 체크포인트 ID를 확인하여 Gemini 3.0 Pro를 확인할 수 있습니다.
🧪 일반 프롬프트 13개에서 테스트한 결과, 50개 프롬프트 중 약 1개에서 올바른 체크포인트가 나타났으므로 재실행이 도움이 됩니다.
🎯 원샷 세대가 강했습니다. 평면도 레이아웃, 버거를 곁들인 SVG 판다, 그리고 훌륭한 조명을 갖춘 Three.js 포켓볼이 대표적입니다.
🎮 마인크래프트(칸딘스키 스타일) 데모는 높은 FPS를 자랑했고, 제가 본 것 중 해당 주제와 가장 잘 어울렸습니다.
🦋 나비 정원 시뮬레이션은 좋았지만 GPT‑5보다 뒤처졌습니다. CLI 이미지 변환기는 견고했습니다. 블렌더 포켓볼은 조명과 카메라를 제대로 설정했습니다.
🧠 AIME 문제와 간단한 수수께끼에서 만점을 받았고, 제 테스트에서는 Sonnet 4.5보다 우수한 성능을 보였으며, GPT‑5보다 더 어려웠습니다.
📈 제 순위표에서는 Sonnet 4.5보다 가격 대비 성능 면에서 약 25% 앞서 있습니다.
💡 "생각하는" 변형(첫 번째 토큰이 더 느림)으로, 잠재적으로 다중 모드일 수 있습니다. 2.5 Pro보다 도구 호출 기능이 더 강력하기를 기대합니다.
⚠️ A/B 테스트 체크포인트이므로, 배송된 모델이 다를 수 있습니다(과거 "Zenith" 케이스는 테스트된 대로 배송되지 않았습니다).
--
타임스탬프:
00:00 - 소개
00:07 - AI Studio 및 2HT Gemini 3 Pro A/B 테스트 체크포인트
00:50 - Gemini 3 Pro 테스트, 결과 및 소감
08:14 - 마무리
