사내 AI 챗봇 서비스 구축하기

간단 소개

크리에이트립 FE 개발자가 사내 AI 챗봇을 구축한 경험 공유: Azure OpenAI 연동, GraphQL 스키마 조회, 파일 지원, 웹 접근 기능 등 구현 과정과 트러블 슈팅.

AI Summary

사내 AI 챗봇 구축 계기 및 과정
- 크리에이트립 구성원들의 ChatGPT 활용 증가와 남은 Azure 크레딧 활용 필요성 대두
- GraphQL 쿼리 및 뮤테이션 자동 완성 기능에 대한 개인적인 필요성 증대
- Vercel의 Next.js AI Chatbot 템플릿을 기반으로 구축 시작
주요 기능 구현 및 트러블 슈팅
- Auth.js를 활용하여 크리에이트립 인증 서버와 연동, 관리자 권한 사용자만 접근 가능하도록 설정
- Azure OpenAI 연동 과정에서 baseURL 설정 오류 해결
- Function Calling을 활용하여 GraphQL 스키마 조회 기능 구현, 토큰 사용량 및 응답 속도 개선
- 콘텐츠 필터링 문제 해결을 위해 프롬프트 및 함수 설명 수정, 안전 강조
- 대용량 데이터 조회 시 S3에 JSON 파일 업로드 후 링크 제공 방식으로 컨텍스트 초과 문제 해결
- Python 코드 인터프리터를 JavaScript로 변경, 샌드박스 환경에서 안전하게 실행
추가 개선 및 배포
- 다양한 파일 형식 지원 (.docs, .pdf, .xls 등)
- 계산기, 웹 접근 기능 추가 (Puppeteer 활용)
- NeonDB에서 Azure PostgreSQL로 DB 이관, ECS를 통해 프론트엔드 배포
- Mem0.ai를 활용한 메모리 기능, 시각화 기능 추가
- 출시 후 한 달간 56명 사용, 600개 이상의 채팅 세션, 15000개 이상의 메시지 생성