29CM QA팀은 어떻게 테스트 자동화 지표를 활용하여 신뢰성을 확보할 수 있었을까?

간단 소개

29CM QA팀은 테스트 자동화 지표를 활용하여 App 테스트의 신뢰성을 확보하고 Fail률을 획기적으로 감소시켰다.

AI Summary

테스트 자동화 신뢰성 확보 배경
- 29CM QA팀은 App 테스트 자동화에서 UI/UX 변경, A/B 테스트 등으로 인해 Fail률이 증가하며 테스트 결과의 신뢰성 하락 문제를 겪음.
- 신뢰성 하락은 테스트 자동화 사용 자체를 위협하는 문제로 인식, OKR로 설정하여 집중적인 개선 작업 진행.
지표 설정 및 데이터 시각화
- Postgresql과 Grafana를 활용하여 테스트 결과를 DB에 저장하고 시각화하여 지표를 추적.
- 플랫폼, 에러 코드, 에러 이유, 시나리오명, 테스트 결과, 수행 시간 등을 필수 지표로 선정.
- Fail률 실시간 체크 및 추이 분석을 위한 대시보드 구축.
Fail률 감소 노력 및 성과
- Fail 발생 시 빠른 대응 및 근본적인 원인 해결에 집중.
- element 검색 실패 시 재시도, 팝업 확인 로직 개선 등 안전성 확보에 주력.
- 웹뷰 성능 문제에 대한 지속적인 모니터링 및 개선.
- 1Q 대비 2Q에 Fail률을 8%에서 2% 미만으로 감소시키는 성과 달성.