1:1 비디오 채팅 서비스는 E2E 회귀 테스트를 어떻게 자동화할까?

간단 소개

아자르의 1:1 비디오 채팅 E2E 회귀 테스트 자동화 전략, 문제 해결 과정, 그리고 자동화를 통한 효율성 및 품질 향상 효과를 분석합니다.

AI Summary

아자르 E2E 회귀 테스트 자동화 배경
- 매 버전 업데이트 시 기존 기능의 회귀 테스트 필요성 증대
- SDET팀, Pytest와 Appium 활용 자동화 시도, 특히 1:1 비디오 채팅 기능에서 어려움 발생
Interaction 테스트 자동화의 핵심
- Non-interaction과 Interaction으로 테스트 유형 분리, Interaction 테스트는 2개의 driver 활용
- 크로스 플랫폼(Android, iOS) 지원 및 병렬 실행, 매칭 문제 해결, 테스트 스텝 동시 실행, 플랫폼별 코드 통합 등의 과제 직면
해결 방법 및 운영 효과
- pytest hook과 command line 옵션으로 플랫폼 조합별 병렬 실행, 개발팀 협조로 매칭 segment 생성
- ThreadPoolExecutor로 테스트 스텝 동시 실행, interface 활용한 테스트 주도 개발 적용
- 308개 테스트 케이스, 4개 플랫폼 조합에서 95% 시간 단축, 13MD 인력 절감, 품질 향상 효과