AI 요약관련 정보

• Cerebras AI가 Groq보다 빠른 llm 인퍼런스 속도를 달성하여 새로운 기록을 깰 수 있었습니다. 🚀
• Cerebras는 2015년에 설립된 기존의 스타트업이로, AMD에 의해 인수된 기업에서 출신한 전문가들이 이끌고 있습니다. 🧠
• Cerebras의 Wafer Scale Engine 3은 메모리와 컴퓨팅을 통합하여 21 Petabyte의 막대한 메모리 바 드위드를 제공하며 낮은 latency를 통해 훨씬 빠른 인퍼런스 속도를 달성합니다. 📈
• Cerebras는 16bit 모델 가중치를 사용하여 높은 정확도를 유지하면서도, Nvidia H100과 비교하여 저렴한 비용 (€0.60/million tokens)으로 서비스를 제공합니다. 💰
• Cerebras는 인퍼런스 속도를 독립적인 제3자 UMetric 평가를 통해 확인하며, 그 매력적인 속도와 구현 방식은 AI 벤처가 활발하게 연구하고 발전시키는 주요 분야로 떠올라 있습니다. ⚡