AI 요약관련 정보

• 지식 증류(Knowledge Distillation)는 크고 복잡한 티처 모델의 지식을 작고 빠른 스튜던트 모델에게 전달하여, 작은 AI도 큰 AI만큼 똑똑해지게 하는 기술입니다. 🧠
• 이 기술은 스마트폰과 같은 제한된 디바이스에 AI를 탑재하고, 모델 실행 비용과 속도 문제를 해결하기 위해 필수적입니다. 📱
• 2006년 모델 압축에서 시작하여, 2015년 제프리 힌튼 교수가 '소프트 레이블'과 '다크 날리지' 개념을 도입하며 지식 증류의 패러다임을 혁신했습니다. 💡
• '하드 레이블'이 정답만 가르쳐 정보 손실이 큰 반면, '소프트 레이블'은 오답의 확률 분포까지 포함하여 클래스 간의 미묘한 관계(다크 날리지)를 학습시켜 일반화 성능을 향상시킵니다. 📚
• '템퍼러처(Temperature)'는 확률 분포를 부드럽게 만들어 더 많은 다크 날리지를 스튜던트 모델에 전달하며, 일반적으로 2~4 사이의 값이 효과적입니다. 🔥
• 실습을 통해 지식 증류를 적용한 스튜던트 모델이 혼자 학습한 모델보다 정확도가 소폭 상승하는 것을 확인할 수 있으며, 지식 증류 비율과 템퍼러처 조절로 효과를 체감할 수 있습니다. 🧪
• 지식 증류는 과거의 기술이 아닌, 현재 Gemini-Gemma, LLaMA 등 최신 대규모 언어 모델(LLM) 압축 및 최적화에 활발히 활용되는 핵심 기술입니다. 🚀