Llama 4 Has a 10M Token Context Window... (and its the best)

Llama 4 시리즈는 1000만 토큰의 컨텍스트 창을 자랑하며, 이는 500만 단어에 달하는 방대한 양의 정보를 처리할 수 있음을 의미합니다. 🤯

Llama 4 Scout와 Maverick는 단일 H100 GPU에서 작동하는 170억 매개변수 모델로, 다중 모달 기능과 뛰어난 성능을 제공합니다. 🚀

Llama 4 Behemoth는 2880억 매개변수의 거대 모델로, GPT-4.5, Claude, Gemini 2 Pro 등을 능가하는 성능을 보입니다. 👑

메타는 30조 개 이상의 텍스트, 이미지, 비디오 데이터를 사용하여 Llama 4 모델을 훈련시켰으며, '전문가 혼합' 설계를 통해 효율성을 극대화했습니다. 🧠

거대 모델인 Behemoth의 지식을 소형 모델인 Scout와 Maverick에 전이 학습하여 성능을 향상시켰습니다. 💡