- 지식 증류는 큰 모델(티처)의 지식을 작은 모델(스튜던트)에게 전달하는 기술. 🧑🏫➡️👶
- 소프트 레이블은 정답뿐 아니라 오답의 확률 정보까지 제공하여 학습 효율을 높임. 📊
- 다크날리지는 틀린 답의 확률에 담긴 정보로, 클래스 간의 관계를 이해하는 데 도움을 줌. 💡
- 템퍼레처는 확률 분포를 부드럽게 만들어 다크날리지 전달량을 조절하는 역할. 🌡️
- 지식 증류는 모델 압축, 성능 향상, 비용 절감 등 다양한 이점을 제공하며 현재도 활발히 사용됨. 🚀
Recommanded Videos
