Microsoft's Phi 3.5 - The latest SLMs
- Microsoft가 Phi 3.5 모델 가족을 확장하여 세 가지 새로운 모델을 출시했습니다. 🪅
- Phi 3.5 mini instruct는 3.8B 개의 파라미터로 지난 Phi 3.1 mini instruct 모델보다 성능이 향상되었으며, 특히 다국어 지지 및 복합적(multimodal) 작업에서 우수한 결과를 보입니다. 🗣️
- Phi 3.5 Mixture of Experts instruct는 16개의 3.8B 개 파라미터로 구성된 6.6B 개 파라미터의 모델로, Gemini flash와 GPT-4o mini와 유사한 수준의 MMLU 성능을 보여줍니다.🧠
- 두 모델 모두 GSM 8K에서 우수한 성능을 보이며 특히 다양한 언어에서 높은 정확도를 달성합니다. 📊
- Microsoft는 새로운 모델에 새로운 합성 데이터를 포함하여 수학, 코딩, 공통 센스 등의 능력을 향상시켰고, 이러한 데이터셋을 공개한다면 오픈 소스 모델의 발전에 큰 도움이 될 것으로 기대됩니다. 📚