AI 요약관련 정보

• Hugging Face에서 3B 크기의 새로운 SmolLM-V3 모델 출시, 이전 모델보다 크고 성능 향상 🚀.
• 모델 학습 과정에 대한 상세한 청사진 공개, 데이터 믹스 및 사전 학습 방법 포함 🗺️.
• 11조 개의 토큰으로 학습, 3B 모델 중 최고 성능 주장하며 4B 모델과 경쟁 🏆.
• "사고" 기능을 켜고 끌 수 있는 기능 제공, 프롬프트 조작을 통해 제어 가능 🤔/🚫.
• 함수 호출 기능 지원으로 에이전트 활용 가능성 제시, 도구 사용 테스트 결과 긍정적 🧰.
• LLaMA 3 아키텍처와 유사하며, NoPE라는 새로운 기술 사용, Olmo 2의 아이디어도 차용 💡.
• 384개의 H100 GPU를 24일 동안 사용하여 학습, 비용은 수십만 달러 수준으로 추정 💰.
• DeepSeekR1 및 Qwen3의 추론 트레이서를 활용하여 합성 데이터 생성, 강화 학습은 적게 사용 🧪.
• 모델은 Transformers, SG Lang, VLLM과 호환, 쉽게 설정 가능 ⚙️.
• Hugging Face는 모델의 각 훈련 단계의 체크포인트를 공개할 것을 고려해야 함 💾.