AI 서버 모니터링 자동화: 반복적인 업무를 줄이고, 놓치던 인사이트를 얻다.

간단 소개

Gemini Pro를 활용하여 AI 서버 모니터링을 자동화하고, 반복 업무 감소 및 인사이트 확보를 통해 효율성을 개선한 사례입니다.

AI Summary

AI 서버 모니터링 자동화 도입 배경
- 요기요 팀은 Datadog을 통해 서버를 모니터링했지만, 매주 반복되는 수동 분석 작업에 많은 시간을 소비하고 있었습니다.
- 수동 분석은 담당자별 편차, 미세한 변화 누락 등의 문제점을 야기했습니다.
Gemini 2.5 Pro를 활용한 자동화
- Gemini 2.5 Pro의 멀티모달 지원, 긴 컨텍스트 윈도우 등의 장점을 활용하여 모니터링 자동화를 구현했습니다.
- 초기에는 스크린샷 기반 분석을 시도했으나, OCR 부정확성, 할루시네이션 등의 문제점이 발생했습니다.
- Datadog API를 활용하여 실제 데이터를 LLM에 제공하는 방식으로 개선하여 답변 품질을 향상시켰습니다.
성과 및 한계, 그리고 향후 개선 방향
- AI 도입 결과, 모니터링 시간을 1시간에서 5분으로 단축하고, 분석 품질을 표준화하는 성과를 거두었습니다.
- 여전히 비즈니스 컨텍스트 이해 부족, 데이터 검증 필요 등의 한계가 존재합니다.
- 향후 실시간 모니터링 확대, LangFuse를 통한 프롬프트 최적화 등을 통해 개선해나갈 계획입니다.