LLM Application 구축 도전기 (feat. 소중한 고객님들의 리뷰) - 1부

간단 소개

컬리 기술팀의 LLM을 활용한 리뷰 요약 서비스 구축 도전기 1부: Prompt Engineering을 활용한 비정형 데이터 검수 실험 과정 및 결과 분석.

AI Summary

PoC 시작 및 베스트 리뷰 요약
- 컬리 커머스 프로덕트 팀에서 LLM을 활용한 리뷰 요약 서비스 PoC를 진행, 상품 속성 정보를 풍부하게 내포하는 리뷰 요약 LLM 서비스를 기획.
- 내부 검수를 거친 베스트 리뷰를 요약하여 제공하는 것을 목표로 했으나, 상품 제한 및 시의성 문제 발생.
리뷰 선별 조건 및 LLM 활용
- 리뷰 요약 대상을 확장하고 유용한 정보 리뷰를 선별하기 위해 최신성, 관련성, 부정 후기 여부, 정보 제공도 등의 조건 설정.
- LLM의 컨텍스트 요약, 문맥 파악, 추론 능력을 활용하여 리뷰 선별자 역할 부여, 필터링 실험 진행.
Reasoning 및 CoT 기법
- LLM의 판단 근거를 확인하기 위해 Reasoning 단계를 추가, LLM이 결론을 내린 이유를 응답값에 포함하도록 함.
- CoT(Chain of Thought) 기법을 활용, 검증 단계를 세분화하여 LLM이 단계적으로 문제를 해결하도록 유도, 검증 정확성 향상.