AWS Sagemaker Ground Truth로 훈련용 이미지를 편하게 분류하자

간단 소개

AWS Sagemaker Ground Truth를 이용한 훈련 이미지 분류 방법과 한계점을 분석하고, 효율적인 데이터 준비 방안에 대한 고민을 제시합니다.

AI Summary

머신러닝 모델 개선을 위한 훈련 데이터 준비의 어려움
- 컬리에서 후기 이미지 분류 자동화를 위해 머신러닝을 사용 중이며, 모델 개선을 위해 훈련 데이터 준비 과정에 대한 어려움을 겪음.
- 기존 방식은 수동 분류로 효율성이 낮고, 오류 가능성이 높았음.
데이터 정제 및 분류 방법
- S3에 저장된 이미지 데이터를 aws-cli를 통해 로컬로 다운로드하고, 중복 이미지 제거를 위해 해시값을 이용, 잘못된 이미지는 Image 객체를 통해 오류 검출 후 삭제함.
- 드래그 앤 드롭 방식(mark1)과 분류기를 이용한 방식(mark2)을 사용했지만, 대량의 데이터를 처리하기에는 한계가 있었음.
AWS Sagemaker Ground Truth 활용 및 한계
- AWS Sagemaker Ground Truth를 통해 이미지 분류 자동화 또는 외부 인력을 활용한 수작업 분류를 시도함.
- Ground Truth는 다수 작업자가 편리하게 분류할 수 있도록 지원하지만, 높은 요금으로 인해 실제 도입에는 어려움이 있음.