LLM을 활용한 스마트폰 시세 조회 서비스 구축

간단 소개

LLM을 활용하여 스마트폰 중고 시세를 조회하고 유사 게시글을 추천하는 서비스 구축 과정을 소개합니다.

AI Summary

스마트폰 시세 조회 서비스 개발 배경
- 중고거래 시세 파악의 어려움 해소: 판매자들이 적정 가격을 결정하기 어렵고, 구매자들은 시세를 일일이 확인해야 하는 번거로움이 존재.
- 당근 중고거래 데이터 활용: 스마트폰은 모델이 명확하고 게시글 수가 많아 데이터 기반 시세 계산에 유리하며, 가격 결정 중요.
LLM 활용 및 데이터 처리 과정
- LLM을 이용한 상품 정보 추출: 모델명, 용량, 스크래치 여부 등 추출. 프롬프트 수정만으로 정확도 향상, BigQuery에 적재.
- BigQuery를 이용한 데이터 후처리: LLM의 환각 문제 해결을 위해 BigQuery View Table을 통해 데이터 정규화. GPT를 활용하여 SQL 작성 효율 증대.
- 데이터 기반 시세 집계: BigQuery에서 대용량 작업 후 MySQL로 집계 결과 전송, 사용자에게 빠른 시세 정보 제공.
유사 게시글 추천 기능
- 벡터 DB(Pinecone) 도입: 게시글 임베딩을 활용, 의미상 유사한 게시글 추천. 구글 임베딩 모델의 작업 유형 옵션 활용하여 정확도 향상.
- ReRanker 대신 규칙 기반 필터링: 도메인 특화 튜닝 없이, 아이템과 일치하는 단어 기반으로 순위 조정.