AI 요약관련 정보

• OpenAI가 GPT OSS 120B 및 20B라는 두 개의 새로운 오픈 소스 모델을 출시했으며, 이는 GPT-2 이후 첫 번째 오픈 모델임 🎉.
• GPT OSS 20B는 128,000 토큰의 컨텍스트 길이를 가지며, 16GB 메모리로 엣지 장치에서 실행 가능하여 온디바이스 사용에 적합함 🚀.
• GPT OSS 20B를 로컬에서 실행하는 것은 간단하며, Alama를 다운로드하여 GPT OSS 옵션을 선택하면 됨. MacBook에서 빠른 응답 속도를 보여줌 💻.
• 20B 모델은 복잡한 프롬프트(예: Polygon 컨테이너)에 대해 로컬에서 코드를 생성할 수 있지만, 생성된 결과가 항상 완벽하지는 않음 🤹.
• GPT OSS 120B는 단일 80GB GPU에서 효율적으로 실행되면서 핵심 추론 벤치마크에서 O4 Mini에 가까운 성능을 달성함 💡.
• 120B 모델로 생성된 Polygon 컨테이너 코드는 20B 모델보다 나은 결과를 보였지만, Horizon 베타 모델만큼 UI가 뛰어나지는 않음 🤔.
• Open Router를 통해 120B 모델을 사용할 수 있으며, 가격은 저렴하지만 Next.js 프로젝트 통합 시 TRPC 관련 문제로 어려움을 겪음 😥.
• 120B 모델은 Codeforces 벤치마크에서 03 Mini를 능가하며, 수학 및 GPQA Diamond 벤치마크에서도 인상적인 점수를 기록함 🏆.
• 전반적으로 GPT OSS 모델은 오픈 소스 모델로서 인상적인 성능을 제공하며, 특히 120B 모델은 O4 Mini에 근접한 수준임. OpenAI가 오픈 소스에 다시 참여한 것은 긍정적임 👍.