진짜 A/B 테스트: 토스의 푸시 생태계를 데이터로 재설계한 방법

간단 소개

토스는 데이터 기반으로 푸시 효율성 감소 문제를 해결하기 위해 De-Targeting 룰을 설계하고 ABC 테스트를 통해 전사 배포를 결정했습니다.

AI Summary

토스 푸시 효율성 감소 문제 분석
- 슈퍼앱 확장으로 푸시 발송량 증가, 사용자 반응 역치 상승
- 전사 푸시 CTR 하락 추세, 시스템적 해결책 필요성 대두
- EDA를 통해 서비스/템플릿 분석, 사용자 세그먼트별 반응 분석, 주요 피처 분석 진행
De-Targeting 룰 설계 및 ABC 테스트
- '지속적 무반응' 사용자 대상 푸시 쿨다운(De-Targeting) 룰 설계
- 최적의 n값 설정을 위한 시뮬레이션 및 ABC 테스트(Control vs Variant A vs Variant B) 진행
- 푸시 CTR 개선 및 핵심 지표 저하 방지를 목표로 2개월간 장기 실험 진행
실험 결과 및 확장
- CTR 개선 및 발송량 감소, 클릭 총량 유지 확인
- 앱 오픈 AU, 서비스 AU, 매출 등 가드레일 지표에서 유의미한 악화 없음 확인
- 보수적인 변이안(A)으로 전사 배포 결정, 푸시 생태계 개선 노력 지속