배송 완료 사진 속 객체 탐지를 통한 수기 검수 비용 줄이기

프로젝트 개요 및 목적

• 컬리는 배송 완료 사진에서 퍼플 박스와 종이봉투를 객체 탐지하여 수기 검수 비용을 93% 절감했다.
• 목표는 AI 기반 자동 검수를 통해 신선도 저하 우려 건만 사람에게 확인시켜 수기 검수 비용을 줄이는 것이다.
• Data-centric AI 접근 방식으로 데이터 품질과 라벨링 전략에 집중했다. 데이터 엔진 및 모델 학습
• 데이터 엔진은 라벨 없는 데이터에 대한 가짜 라벨(pseudo label) 추론, 라벨링 품질 개선(결과 검증자, 세부 수정자), 재학습 단계를 반복한다.
• 객체 탐지 모델로 YOLOv11을 사용했으며, Ultralytics를 활용했다.
• 퍼플 박스 탐지 모델은 기존 리뷰 도메인 모델을 파인튜닝하여 recall 0.8677에서 0.9792로 향상되었고, 종이봉투 탐지 모델은 초기 라벨링 후 학습하여 recall 0.7605에서 0.9258로 향상되었다.
• 라벨링 개선 과정에서 직접 주석 수정한 비율은 10% 미만으로 낮은 라벨링 비용을 달성했다. 성과 및 논의
• AI 모델이 인간보다 높은 퍼플 박스 탐지 성능을 보였으며(91.3% 일치, 불일치 시 AI가 7.3% 정확), 도메인 적응을 통해 가려진 퍼플 박스 탐지 성능이 향상되었다.
• 결과적으로 수기 검수 비용 93% 절감이라는 운영 성과를 달성했다.
• 향후 MLOps 관점의 라벨링 자동화 및 objectness score 필터링을 통한 효율성 증대를 논의했다.