호텔 검색, 어떻게 달라졌을까요? 2편 - 지식 증류

간단 소개

지식 증류를 통해 LLM의 성능을 유지하면서 sLLM으로 최적화하여 호텔 검색 품질을 향상시키고 시스템 운영 효율성을 높였습니다.

AI Summary

LLM의 한계와 sLLM의 필요성
- 기존 호텔 검색은 LLM을 활용했지만 높은 연산 비용과 응답 시간으로 실시간 검색에 부적합했습니다.
- sLLM은 빠르지만 성능이 낮아 검색 품질 저하 우려가 있어, 지식 증류를 통해 LLM 수준의 성능을 유지하면서 sLLM으로 최적화하는 기술이 필요했습니다.
지식 증류 과정 및 기법 개선
- Teacher와 Student 모델 선정 시 LLM as Judge 방식을 활용하여 최적의 모델을 선정하고, 정교한 프롬프트 엔지니어링으로 환각 현상이 없는 학습 데이터를 확보했습니다.
- 초기 SeqKLD 방식에서 블랙박스 지식 증류 + 근거 학습 방식으로 개선하여 Teacher 모델의 근거(Rationale)까지 학습하도록 설계했습니다.
- MoE with LoRA 방법도 시도하여 다중 작업 학습의 가능성을 확인했지만, 서비스 안정성을 위해 단일 작업 학습 방식을 적용했습니다.
결론 및 기대 효과
- 지식 증류 기술을 통해 실시간 트래픽을 감당할 수 있는 sLLM을 개발하여 서비스에 적용했습니다.
- LLM 수준의 검색 품질을 유지하면서 시스템 운영 효율성을 높였습니다.
- 향후 지식 증류 기술을 지속적으로 연구하여 모델 성능과 서비스 품질을 더욱 향상시킬 예정입니다.