연간 LLM 호출 비용 25% 절감, 인턴이 도전한 시맨틱 캐싱 도입 기록

간단 소개

당근 채팅팀 인턴의 시맨틱 캐싱 도입으로 LLM 호출 비용을 25% 절감한 사례와 향후 확장 계획을 소개합니다.

AI Summary

LLM 호출 비용 절감 배경
- 당근 채팅팀은 AI 메시지 추천 기능을 통해 사용자 편의성을 높였으나, LLM 호출 비용이 과도하게 높다는 문제에 직면.
- 시맨틱 캐싱 기술을 도입하여 비용 효율성을 개선하고자 함.
시맨틱 캐싱의 도입 및 효과
- 시맨틱 캐싱은 문장 간 의미 유사도를 활용하여 캐시 적중률을 높이는 기술.
- 코사인 유사도를 활용, 유사도가 높은 문장을 캐시 HIT으로 처리하여 LLM 호출 비용을 절감.
- 오프라인/온라인 테스트 결과, 시맨틱 캐싱은 약 25%의 캐시 HIT 비율을 기록, 연간 2.1억 원의 비용 절감 효과를 보임.
향후 계획
- 머신러닝 분석 및 벡터 DB 구성 자동화를 통해 시맨틱 캐싱 기능의 확장성을 높일 계획.
- 중고거래 외 다양한 도메인에 시맨틱 캐싱을 적용하여 당근 서비스 전반의 채팅 경험을 개선할 예정.