VLM, LLM을 사용하여 멀티모달 학습 데이터 제작하기

간단 소개

SSG AI팀은 VLM, LLM을 활용하여 멀티모달 학습 데이터를 저비용으로 구축하고, 쓱렌즈의 검색 정확도를 향상시켰습니다.

AI Summary

멀티모달 학습 데이터 제작 배경
- SSG 쓱렌즈의 멀티모달 검색 기능 고도화를 위해 VLM과 LLM을 활용한 학습 데이터 제작 필요성이 대두됨.
- 기존 학습 데이터의 부족한 정보량과 라벨링의 높은 비용 문제를 해결하고자 함.
VLM, LLM 활용 데이터 제작
- 상품 상세 정보 이미지에서 OCR 기술로 텍스트 추출 후, GPT 3.5 API를 이용해 요약 시도. 부정확한 OCR 결과로 인해 VLM(GPT 4, Gemini) 활용.
- 프롬프트 엔지니어링을 통해 VLM이 상품 이미지와 OCR 데이터의 정합성을 검증하고, 상세 정보를 추출하도록 함.
- 모델 역할 부여, 체계화된 질문, 예시 제공 등의 방법론 적용.
Gemini 활용 및 결과 후처리
- Gemini API와 Google Vertex AI 플랫폼을 비교 후, 추론 속도와 비용 효율성을 고려하여 Vertex AI 방식 채택.
- Safety Settings 조정, Chat Session 활용, Batch Prediction 적용으로 비용 절감.
- Gemini 결과의 후처리 중요성을 강조하며, 이미지 유사성, 관련 없는 내용 인용, 비일관적인 답변 등의 문제점을 해결.