챗봇 서비스 구축기

간단 소개

사람인 데이터를 활용한 LLM 기반 챗봇 서비스 구축 과정과 RAG, Function Calling, LangGraph 등 핵심 기술 적용 및 개선 사례를 공유합니다.

AI Summary

챗봇 서비스 구축 배경 및 목표
- 기존 룰 기반 챗봇의 한계 극복 및 OpenAI ChatGPT 등장에 따른 변화 모색
- 사람인 내부 데이터(도움말, 채용 공고, 기업 정보)와 LLM 결합을 통한 사용자 문의 자동화
챗봇 서비스 아키텍처 및 핵심 기술
- 8단계 처리 과정: 질문 전달, 의도 파악, 컨텐츠 조회, 답변 생성, 이력 저장
- Function Calling을 활용하여 LLM이 외부 함수를 호출, 실시간 정보 접근
- RAG 기술 도입으로 환각 현상 감소, 최신 정보 반영, 사용자 신뢰도 향상
RAG 파이프라인 및 개선
- VectorDB를 활용한 기본 RAG 구현 및 컨텐츠 특성에 맞는 파이프라인 설계
- 실시간 API 연동으로 RAG 확장 및 프롬프트 엔지니어링을 통한 답변 품질 관리
- 다중 제목 기능 추가로 검색 정확도 향상 및 LangGraph를 이용한 복잡한 파이프라인 제어
안정적인 운영 및 확장
- 독립적인 Bot 관리 시스템 구축 및 멀티테넌시 구조 채택
- 모니터링을 통한 데이터 선순환 구조 마련 및 컨텐츠 개선