AI뒤에 사람 있어요: Human-in-the-loop를 위한 VLMOps 어드민 구축기

Human-in-the-loop의 필요성

• AI는 예외 상황 판단, 할루시네이션 발생, 학습 데이터 한계 등으로 사람의 개입이 필수적임.
• 무신사는 상품 카테고리 분류 및 속성 추출 과정에서 **VLM(Visual Language Model)**을 활용하지만, 미묘한 맥락 이해와 서비스 최적화를 위해 사람의 역할이 중요함.
• 과거 ML 모델에서는 사람이 데이터 생산자였으나, VLM 시대에는 모델 결과 검증 및 개선 방향을 제시하는 핵심 주체로 역할 변화. VLMOps 어드민 도입 배경 및 기능
• 데이터 오퍼레이션팀과 MLE의 협업 과정에서 반복 검토 증가, 번거로운 도구 세팅, 데이터 분산, 품질 관리 어려움 등의 병목 현상 발생.
• 이를 해결하기 위해 VLMOps 어드민을 구축, 모델/프롬프트 관리, 모델 추론(오토필), 추론 결과 검증/리뷰, 정답셋(골든셋) 관리, 모델 평가 기능을 제공.
• 어드민은 Flywheel 순환 구조로 설계되어 실험과 운영의 단절을 없애고 지속적인 AI 개선을 지원. VLMOps 어드민 도입 효과
• 모델 평가 속도 54% 단축, 업무 효율 증가 (DO팀은 실험 주도, MLE팀은 연구 집중).
• AI 검증 프로세스 자동화를 통해 메타데이터 정확도 향상 및 선제적 이슈 대응 가능.
• 무신사의 AI 경쟁력 강화 및 AI와 사람이 함께 성장하는 협업 시스템의 핵심 기반 마련.