티오더의 Amazon Bedrock을 활용한 MCP 기반 운영 플랫폼 개발기

간단 소개

티오더는 Amazon Bedrock 기반 MCP 운영 플랫폼을 구축, 자연어 인터페이스와 자동화된 이벤트 분석으로 운영 효율성을 높이고 있습니다.

AI Summary

티오더의 MCP 기반 운영 플랫폼 개발
- 티오더는 Amazon Bedrock을 활용하여 MCP 기반 운영 플랫폼을 개발, F&B 시장의 패러다임을 혁신하고 있습니다.
- **MCP(Model Context Protocol)**는 LLM에 컨텍스트를 제공하는 표준화된 프로토콜로, AI 모델과 외부 도구 간의 상호작용을 체계화합니다.
- Amazon MemoryDB, LangChain과 함께 자체 구축한 MCP 기반 플랫폼을 통해 운영 효율성과 시스템 가시성을 극대화합니다.
솔루션 아키텍처 및 핵심 기능
- Amazon EKS 기반으로 구축된 플랫폼은 확장성과 안정성을 확보하고, Amazon MemoryDB를 백엔드 벡터 데이터베이스로 사용하여 LLM 기반의 빠른 문맥 검색을 지원합니다.
- 자연어 기반 도구 호출, 실시간 이벤트 자동 요약 및 분석, 시스템 장애 자동 감지 및 요약 등의 기능을 제공하여 운영팀의 업무를 지능화합니다.
- Amazon SNS-SQS-Subscribe 구조를 활용한 실시간 알람 분석을 통해 장애 원인 및 핵심 정보를 요약하여 제공합니다.
플랫폼 진화 과정 및 도전 과제
- 초기에는 Amazon Bedrock Converse API를 사용한 단순한 형태였으나, Streamlit 기반 인터페이스 도입, 벡터 DB 도입(Redis에서 Amazon MemoryDB로 전환) 등의 과정을 거쳐 현재의 구조로 발전했습니다.
- langchain-aws 라이브러리를 활용하여 Bedrock 및 벡터 DB와의 통합을 구현하고, 프론트엔드와 백엔드를 분리하여 도구 호출 시 스키마 불일치 문제를 해결했습니다.