Github Action과 self-hosted runner로 구축하는 E2E 테스트 자동화: POC부터 확장까지 우리팀의 내재화 여정

간단 소개

Github Action과 self-hosted runner를 활용한 E2E 테스트 자동화 구축 및 내재화 여정을 공유하고, POC부터 확장까지의 경험을 소개합니다.

AI Summary

E2E 테스트 자동화 도입 배경
- 기존 외부 테스트 서비스의 한계: 웹뷰 기반 앱의 특수성을 충족하지 못하고 비용 효율성 문제 발생
- 현실적인 대안: 사내 유휴 장비(Mac mini)를 활용한 POC(Proof of Concept) 시작
자동화 아키텍처 및 구현
- 주요 구성 요소: Slack, Webhook, GitHub Self-hosted Runner, Appium
- Slack 커맨드를 통해 테스트 트리거, GitHub Actions 워크플로를 통해 iOS/Android 앱 병렬 테스트 실행
- 테스트 결과는 Slack으로 알림, 상세 리포트는 S3에 업로드
점진적 개선 및 확장 계획
- 초기 POC 후 테스트 리포트, 화면 녹화 기능 추가, 병렬 테스트 구현 등 개선
- 현재 운영 효과: 비용 절감, 효율성 향상, 안정성 강화, 협업 증진
- 향후 계획: 인프라 확장, 모니터링 강화, 완전 자동화 테스트 구축, AI 기반 테스트 결과 분석