API 연동 자동화를 위한 여정: 토스는 왜 사내 MCP 서버를 개발하였는가? with Spring-AI

API 연동 자동화의 필요성 및 토스 MCP 서버 개발 배경

• 토스 개발자들은 API 스펙 공유 및 연동 과정에서 반복적인 비효율을 겪었으며, LLM을 활용한 자동화 아이디어에서 Swagger MCP 서버 개발이 시작되었습니다.
• MCP 서버 도입 후, 개발자는 자연어로 API 개발 완료를 알리고, 연동 개발자는 LLM을 통해 스펙 분석 및 호출 로직 구현을 맡길 수 있어 생산성이 크게 향상되었습니다.

MCP(Model Context Protocol) 및 Spring-AI 활용

• MCP는 AI 모델과 외부 도구를 연결하는 표준 프로토콜로, Prompts, Resources, Tools 세 가지 핵심 빌딩 블록을 제공하여 LLM에 컨텍스트를 제공합니다.
• 토스는 Spring-AI의 spring-ai-starter-mcp-server-webmvc를 활용하여 MCP 서버를 개발했으며, Stateless Streamable-HTTP 프로토콜과 ASYNC 실행 모드를 선택했습니다.
• @Tool 애너테이션을 통해 Tools를 선언적으로 정의하여 LLM의 정보 검색 및 행동 수행을 지원했습니다.

Swagger MCP 구현 및 해결 과제

• Swagger MCP는 중앙 서버에서 서비스 목록을 조회하고, 특정 서비스의 Swagger JSON을 가공하여 API 스펙 및 상세 정보를 LLM에 제공하는 다단계 과정을 거칩니다.
• 개발 중 SSE 통신 문제, 토큰 초과 에러 (미사용 API 제거, JSON 가공, 페이징으로 해결), LLM 호출 강제를 위한 프롬프트 추가, Swagger 컴포넌트 이름 충돌 등의 문제를 해결했습니다.
• GitHub Actions를 활용한 Swagger 작성 자동화를 통해 LLM에 정확한 API 정보를 제공하려 노력하고 있습니다.