QA 자동화 결과를 데이터로 관리하다: Grafana Dashboard와 Weekly 분석의 힘

데이터 기반 QA 자동화 관리 도입

• 29CM QE팀은 iOS/Android UI 자동화의 실패율을 낮추기 위해 Grafana Dashboard를 활용한 데이터 기반 분석 시스템을 구축.
• 초기 2%대 실패율을 iOS 0.7%, Android 2% 미만으로 낮추는 것을 목표로 설정.
• 자동화 수행 결과를 DB에 적재하고 Grafana Dashboard로 시각화하여 실패 시나리오 및 수행 시간을 모니터링. 단계별 실패율 개선 과정
• 7월: 구매/로그인 플로우, 29 라이브 PIP 모드 간섭 등 주요 실패 원인 분석 및 사전 로그인 강화, 선택 동작 안정화, 시간대 분기 등으로 개선.
• 8월: A/B 실험 대응, 카테고리 Depth 클릭 고도화, 텍스트 정합성 검증 등 추가 개선으로 실패율 감소.
• 9월: 신규 시나리오 추가에도 불구하고 API 응답/ID 활용, 패싯 선택 조건 강화, 사전 조건 세팅, API 호출로 환경 일관성 유지 등을 통해 목표 실패율 달성. 협업 및 향후 계획
• 모바일 개발팀과의 긴밀한 협업 및 주간 회의를 통한 문제 해결, 체계적인 일정 관리가 목표 달성에 핵심 역할.
• 자동화 수행 시간 최적화로 장애 탐지 지연 방지 및 실제 이슈 탐지 사례 공유.
• 향후 AI 기반 자동 분석 및 리포팅 시스템 도입 계획.