It's not just you (gpt-5 got dumber)
- GPT-5 Codex의 성능 저하가 사용자 보고와 일치하며, OpenAI는 이를 심각하게 인지하고 조사 중입니다. 📉
- OpenAI는 'Ghosts in the Codeex machine'이라는 내부 문서를 공개하며 문제 해결 과정을 투명하게 공유했습니다. 👻
- Claude 모델의 과거 성능 저하 사례와 달리, OpenAI는 적극적인 소통과 문제 해결 노력을 보이고 있습니다. 🕵️♀️
- CLI 피드백 명령어를 구조화하여 사용자 보고를 쉽게 수집하고 진단할 수 있도록 개선했습니다. 🗣️
- 모든 OpenAI 직원이 외부 사용자와 동일한 환경에서 제품을 사용하도록 하여 실제 사용자 경험을 직접 체감하고 있습니다 (Dogfooding). 🐶
- 60개 이상의 기능 플래그를 제거하고 80개를 추가로 제거하는 등 내부 인프라의 복잡성을 줄여 문제 원인 파악을 용이하게 했습니다. 🧹
- 문제 해결을 위한 가설을 세우고 검증하는 전담 팀을 구성하여 집중적으로 조사를 진행했습니다. 🔬
- 오래된 하드웨어에서 미묘한 성능 저하가 발견되어 해당 하드웨어를 시스템에서 제거했습니다. 🛠️
- 로드 시 지연 시간을 줄이기 위한 로드 밸런싱 전략 개선이 진행 중입니다. ⚖️
- 대화가 길어질 때 컨텍스트를 요약하는 기능(compaction)이 반복될수록 모델 정확도를 떨어뜨리는 것으로 확인되어 개선 및 사용자 경고가 추가되었습니다. 📚
- 'apply patch' 도구 사용 시 모델이 패치를 잘못 적용하여 파일을 삭제하거나 재생성하는 문제가 발견되었으며, 향후 모델 개선 및 즉각적인 완화 조치가 계획되어 있습니다. 🩹
- 도구의 사용 결과가 다음 모델 훈련에 반영되어 모델이 도구를 더 잘 사용하도록 학습되는 방향으로 모델 개발 패러다임이 변화하고 있습니다. 🔄
- (스폰서) Depot은 Docker 빌드 시간을 획기적으로 단축시켜 개발 생산성을 높이고 비용을 절감하는 솔루션입니다 (예: PostHog 55배 단축, Jane CI 실패율 개선, 2.5배 빨라지고 비용 55% 절감). 🚀