[Hands On] 질문 유형별 최적 LLM 모델 선택 AI Assistant 구축 실습

개요 및 목표

• 다양한 LLM 모델의 특성을 고려하여 사용자 질문 유형에 따라 최적의 모델을 자동 선택하는 AI Assistant 구축의 중요성을 강조.
• Amazon Bedrock 기반의 Multi-LLM 응답 시스템 구현을 목표로, 질문 의도 분류 및 모델 자동 선정, Flask 기반 웹 백엔드 API 구축을 포함. 기술 구성 및 구현
• Nginx Reverse Proxy 환경을 구성하여 웹 서비스 배포.
• Python Flask 기반 웹 백엔드를 구현, 'index.html'로 UI를 구성하고 'app.py'의 MetaRouter 클래스로 질문 유형별 전문가 LLM을 선택.
• 'MetaRouter'는 base router model로 질문을 분석하고, 정의된 다양한 전문가 모델(수학, 코드, 분석, 창작 등) 중 하나를 선택하여 응답 생성. 결과 및 결론
• 실습을 통해 질문 유형에 따라 Nova Lite, Llama3-70B, Nova Pro 등 최적의 LLM이 자동으로 선택되어 응답하는 것을 확인.
• 단일 모델 의존 방식보다 비용 최적화, 정확도 향상, 서비스 신뢰성 및 확장성 개선 등 비즈니스 가치 증대 가능성을 제시.