AI로 E2E 테스트를 찍어내다: MAFT

MAFT 프로젝트 개요 및 목표

• MAFT는 LLM 기반 멀티 에이전트 파이프라인으로, API 문서를 활용해 E2E 테스트 코드를 자동 생성하는 사이드 프로젝트입니다.
• 네이버 검색 엔진 Noir의 테스트 공백 문제를 해결하기 위해 시작되었으며, 개발자 개입 없는 자동화, 높은 실행 가능성 및 커버리지, 시간·비용 절감을 목표로 합니다.
• Github Actions 연동을 통해 간편한 운영 환경과 모듈형 설계로 확장성을 지원합니다.
• AutoGen 프레임워크를 활용하여 도구 기반 책임을 가진 여러 에이전트가 협업합니다.

MAFT의 구성 및 워크플로

• MAFT는 요약 문서 생성, API 의존성 문서 생성, 테스트 시나리오 생성, E2E 테스트 코드 생성, 테스트 코드 검증의 5단계 워크플로를 따릅니다.
• 각 스텝은 작업 시작 에이전트, 작업 비평 에이전트, 작업 수정 에이전트로 구성되어 LLM의 정확도를 높입니다.
• 사용자는 API 문서와 커스텀 정보를 제공하며, MAFT는 이를 바탕으로 표준화된 중간 결과물을 생성합니다.
• 테스트 코드 생성 시 pytest 프레임워크 사용, setup/teardown, 데이터 관리, 에러 핸들링 등 구체적인 지침을 따릅니다.

적용 결과 및 한계점

• Noir의 6개 API에 대해 60개 이상의 테스트 케이스를 생성하고 15개 이상의 버그를 발견하여 E2E 테스트 품질을 크게 향상시켰습니다.
• 주요 한계점은 높은 비용 (API당 약 $1, 10분 소요), 생성된 코드의 형식 비일관성, 여전히 필요한 개발자 검증입니다.
• 도메인 특화 (예: Noir 특화 파이프라인)를 통해 비용 절감 및 코드 품질 향상이 가능하며, LLM 성능 개선으로 한계점 극복 가능성이 높습니다.