GPT-OSS 120B + KingBench 2.0 (Tested): Worst of 2025? This Model is pretty bad at almost anything.
- OpenAI에서 오픈 웨이트 모델인 GPT-OSS를 출시했으며, 117B와 21B 두 가지 모델이 존재함. 🚀
- 이 모델들은 강력한 추론, 에이전트 작업, 다양한 개발자 사용 사례를 위해 설계되었으며, MoE(Mixture of Experts) 구조와 4비트 양자화 방식을 사용함. 🧠
- 120B 모델은 80GB GPU, 20B 모델은 16GB GPU에서 실행 가능하여 접근성이 높음. 💻
- 추론 노력 수준을 조절할 수 있으며, 도구 사용 기능도 지원하지만, 최종 사용자에게 직접 보여주기 위한 용도는 아님. 🛠️
- 아파치 라이선스를 따르며, Olama, LM Studio, VLLM 등 다양한 도구와 함께 사용 가능함. 🔑
- 벤치마크 결과, GPT-OSS는 OpenAI의 다른 모델에 비해 성능이 낮으며, 특히 코딩 능력에서 아쉬운 점이 드러남. 📉
- GLM 4.5 Air 모델과 비교했을 때, GPT-OSS는 일부 작업에서 뒤쳐지는 모습을 보임. 😥
- 현재 추론 기능을 활용한 평가는 진행 중이며, 작은 모델에 대한 추가적인 테스트도 계획되어 있음. 🤔
- 전반적으로, GPT-OSS는 오픈 웨이트 모델로서의 의미는 있지만, 기존 모델 대비 성능 개선이 필요함. 🚧
- 새로운 벤치마크에 대한 피드백을 요청하며, 채널 구독 및 후원을 독려함. 🙏