AI 요약관련 정보

• OpenAI가 오픈 소스 모델인 GBT OSS 120B 및 20B를 Hugging Face에 출시 🎉
• OSS 모델은 오픈 웨이트 추론을 통해 다양한 사용 사례에 맞게 사용자 정의 가능 🛠️
• GBT OSS 120B는 데이터 센터 및 고사양 장치에서 실행되도록 설계되었으며, GBT OSS 20B는 대부분의 데스크톱 및 랩톱에서 실행되도록 최적화됨 💻
• Apache 2.0 라이선스 하에 있어 자유로운 구축, 실험, 사용자 정의 및 상업적 배포가 가능 🚀
• 두 모델 모두 강력한 도구 사용, CoT(Chain of Thought) 추론 및 효율적인 성능을 제공 🧠
• 120B 모델은 단일 80GB GPU에서 O4 Mini와 경쟁하며, 20B 모델은 16GB 메모리로 엣지 사용 사례에 최적화됨 🌐
• 두 모델 모두 128k 컨텍스트 길이를 가지며, 악의적인 콘텐츠 생성을 방지하도록 학습됨 🛡️
• O Lama, LM Studio를 통해 로컬에서 액세스하거나 OpenAI 플랫폼 또는 Open Router를 통해 API로 액세스 가능 🔑
• 120B 모델은 수학, 추론, 코딩 테스트에서 빠른 추론 능력을 보여주지만, 일부 코딩 작업에서는 기대에 미치지 못함 🧐
• 모델의 추론 능력을 활성화하면 품질이 향상되며, 긴급 상황이나 인터넷이 없는 경우 유용하게 사용할 수 있음 💡
• 전반적으로 오픈 소스 커뮤니티에 기여하지만, 일부 유출 모델에 비해 성능이 아쉬움 🤔