문의 대응을 효율화하기 위한 RAG 기반 봇 도입하기

간단 소개

RAG 기반 AWX 지원 봇 도입 사례를 통해 반복적인 문의 대응을 효율화하고, AI 트렌드 이해 및 서비스 업무 부하 감소 가능성을 제시합니다.

AI Summary

AWX 지원 봇 개발 배경
- 반복되는 문의 대응으로 인한 운영 리소스 소모 문제 해결 필요
- 가이드 문서 미확인 사용자를 위한 1차 자동 응답 시스템 구축 목표
- RAG 기반 AWX 지원 봇 구현
  - Bolt for Python, LangChain, SBERT, OpenSearch, OpenAI(ChatGPT) 등 활용
  - LLM의 한계(최신 정보 부족, 허위 정보 생성, 출처 불분명) 보완을 위해 RAG 기법 적용
  - 임베딩과 벡터 검색을 통해 사용자 문의와 유사한 데이터 검색 및 활용
- AWX 지원 봇 워크플로 및 데이터 활용
  - Slack 워크플로를 통한 사용자 문의 접수 및 1차 확인
  - 사내 위키 문서 데이터와 Slack 스레드 데이터 벡터 검색 후 LLM에 전달
  - LLM 답변 제공 후 사용자 평가를 통해 관리자 호출 여부 결정
  - Slack 스레드 데이터 우선 참조를 통한 퓨샷 프롬프팅 효과 기대