AI 요약관련 정보

• 중국의 음식 배달 회사 메이투안에서 개발한 5600억 파라미터 규모의 오픈 소스 LLM, LongCat 소개 🐱
• LongCat은 Mixture of Experts (MoE) 아키텍처를 사용하여 효율성을 높임 (토큰당 약 270억 파라미터 활성화) 💡
• LongCat Flash는 무료로 사용 가능하며, 매우 빠른 속도를 제공 🚀
• 벤치마크 테스트에서 Sonnet을 능가하며, 특히 tool calling 기능이 뛰어남 🛠️
• floor plan 생성, SVG 생성 (특히 판다 SVG 버거), 체스 게임 (규칙 준수) 등 다양한 작업에서 좋은 성능을 보임 🎨
• AI 코딩 테스트에서 Expo 및 Next.js를 사용한 영화 추적기 앱을 성공적으로 구축 🎬
• Deepseek GLM과 유사한 성능을 보이며, 리더보드에서 4위를 차지 🏆
• 현재 shoots에서 사용 가능하며, Lightning AI에서 8개의 H100 GPU로 배포 가능 ☁️
• SGLang에서 공식 지원하며, Flash infer를 사용하여 빠른 추론 가능 ⚡
• 양자화 및 Olama 지원이 아직 제공되지 않음 😥
• OpenAI의 GPTOSS와 비교했을 때 LongCat의 성능이 훨씬 뛰어남 👍
• 더 많은 inference provider들이 LongCat을 지원하고, 공식 API가 추가되기를 희망 🙏