클릭 한 번으로 실험 시작! 이터레이션 사이클을 단축하는 추천 실험 시스템 개발기

간단 소개

아자르 추천 시스템의 A/B 테스트 효율을 높이기 위해 Policy Engine을 개발하고, DSL 도입 및 MECE 검증을 통해 실험 관리 및 안정성을 향상시켰다.

AI Summary

아자르 추천 시스템의 A/B 테스트 문제점: 신규 알고리즘 적용 시 잦은 A/B 테스트 로직 변경으로 코드 수정 및 배포에 많은 시간 소요됨.
- 로우 코드 실험 시스템: JSON 설정 파일로 실험군 자동 할당 및 신규 알고리즘 적용, 빠른 이터레이션 사이클 유지.
- Policy Engine 개발: 실험 설정 복잡성 증가 및 설정 오류 방지를 위해 기존 시스템을 재설계.
Policy와 Experiment 분리: 전체 적용되는 설정(Policy)과 실험 집단 설정(Experiment) 분리, Experiment가 Policy 우선.
- DSL 도입: 복잡한 조건 표현을 위해 Python 기반 DSL(Domain Specific Language) 도입, 설정 코드 간결화 및 가독성 향상.
- MECE 검증: Z3 Theorem Prover를 이용한 정적 분석으로 실험 간 충돌 자동 감지.
실시간 실험 모니터링 대시보드: Lucene query 지원으로 특정 집단 필터링, 실험 설정의 할당 현황 시각적 확인.
- Policy Engine 도입 효과: 실험 설정 작성 및 리뷰 시간 단축, 실험 담당자가 직접 실험 설정 가능.
- 향후 과제: 생성형 AI 기술을 활용한 자연어 기반 관리자 인터페이스 제공.