Deploying a RAG VertexAI App on GCP — Discord Bot Integration
- GCP에 RAG 마이크로서비스를 배포하고 디스코드 봇과 통합하여 유튜브 영상 내용에 대한 질문에 답변을 제공하는 시스템 구축 목표. 🤖
- RAG 시스템은 사용자의 질문을 유튜브 영상 스크립트에서 검색하고, 검색된 정보를 기반으로 생성형 답변을 제공. 📚
- Google Compute Platform (VM), Docker, FastAPI, Vertex AI, Neoim (Avante), VS Code (Klein), Claude 3.7/3.5 등 다양한 기술 스택 활용. 🛠️
- 디스코드 봇은 GCP VM에서 실행되며, Docker 네트워크를 통해 RAG AI 마이크로서비스에 접근하고, RAG 서비스는 유튜브 스크립트 기반의 벡터 데이터베이스를 활용. 🌐
- RAG 마이크로서비스(
zazinbot 5000)는 오픈소스 FastAPI 기반 API로 구현되었으며, docker-compose를 사용하여 서비스화. 🚀
- AI 어시스턴트(Avante)를 활용하여
docker-compose 파일에 Zazzenbot network를 추가, 서비스 간 안전한 통신 환경 구축. 🔗
- Avante로 로컬 API 테스트용
curl 명령어 생성 및 Google Credentials 파일명 오류 수정 후 RAG API의 정상 작동 확인. ✅
- 디스코드 봇에
@봇멘션 시 RAG API를 호출하여 답변을 받아 채널에 전송하는 기능 추가. 💬
- Neoim의 Avante는 오픈소스지만 UI가 투박하고 속도/토큰 제한 문제가 있었던 반면, VS Code의 Klein은 더 나은 개발자 경험과 비용 추적 기능을 제공. 💡
- Docker 네트워크를 통해 서비스 이름을 사용하여 내부 통신을 구현함으로써 외부 포트 노출 없이 더 안전하고 효율적인 통합 달성. 🔒
- RAG 마이크로서비스를 서버에 배포하고, GitHub Actions를 활용하여 자동 배포 시스템을 구축할 예정. ⚙️
데브허브 | DEVHUB | Deploying a RAG VertexAI App on GCP — Discord Bot Integration