AI뒤에 사람 있어요: Human-in-the-loop를 위한 VLMOps 어드민 구축기

AI 시대 Human-in-the-loop의 필요성

• AI 발전에도 불구하고 **사람의 개입(Human-in-the-loop)**은 예외 상황 판단, 편향 보정, 서비스 맥락 반영에 필수적입니다.
• **VLM(Visual Language Model)**은 사전 학습되어 빠르지만, 서비스 최적화를 위해 사람의 검증과 개선 방향 제시가 중요합니다.
• 무신사는 상품 메타데이터 추출 과정에서 복잡한 상품 분류 및 속성 판단에 사람의 역할을 강조합니다.

VLMOps 어드민 도입 배경 및 목표

• 기존 Human-in-the-loop 과정은 반복 검토 증가, 번거로운 도구 세팅, 데이터 분산, 품질 관리 어려움 등으로 병목이 발생했습니다.
• 데이터 오퍼레이션(DO)팀과 머신러닝 엔지니어(MLE)팀의 협업 효율 증대 및 VLM 기반 실험/운영 통합 관리를 위해 어드민 구축을 결정했습니다.
• VLMOps 어드민은 모델 실험과 운영을 **순환 구조(Flywheel)**로 통합하여 지속적으로 발전하는 시스템 구축을 목표로 합니다.

VLMOps 어드민 주요 기능 및 효과

• 모델/프롬프트 관리, 모델 추론(오토필), 추론 결과 검증/리뷰, 정답셋(골든셋) 관리, 모델 평가 등 전 과정을 자동화하고 효율화합니다.
• 데이터 검증 시간 54% 단축, 업무 효율 증가, 검증 프로세스 자동화 등의 실질적 효과를 달성했습니다.
• AI 경쟁력 강화 및 AI와 사람의 협업 시스템의 핵심 기반을 마련했습니다.