29CM QA팀은 테스트 자동화 사용률을 극적으로 상승 시키기 위해 무엇을 바꿨을까?

간단 소개

29CM QA팀은 테스트 자동화 사용률을 높이기 위해 Slack bot 도입 실패 후, 사람의 개입을 줄이고 즉각적인 알림을 제공하는 방식으로 개선하여 성공을 거두었다.

AI Summary

테스트 자동화 도입 배경 및 초기 전략
- 29CM QA팀은 CI/CD 툴(Jenkins)을 활용하여 테스트 자동화를 수행하고, 앱 배포 전 E2E 시나리오 검증을 진행했다.
- 프론트엔드의 수시 배포에 대응하기 위해 시나리오별 수행이 가능한 구조를 만들고, 웹뷰 테스트를 위한 별도 기기를 준비했다.
Slack bot 도입과 실패 원인 분석
- 개발팀의 접근성 향상을 위해 Slack bot을 개발하여 제공했으나, 사용률이 저조했다.
- 원인은 Slack bot 사용에 사람의 개입이 필요했고, 이는 개발자에게 추가적인 부담으로 작용했다.
개선 전략 및 성과
- 프론트엔드 배포 시 트리거 연동 방식으로 전환하고, 네이티브 영역과 Webview 영역을 분리하여 필요한 정보만 제공했다.
- 테스트 실패 시 즉각적인 알림을 제공하고, 테스트 기기 확장을 통해 수행 시간을 단축했다.
- 결과적으로 테스트 자동화 수행률이 5% 미만에서 100%로 극적으로 상승했다.