From Single-Shot LLMs to Intelligent Agents: Building Scalable AI Systems with Spring AI and MCP
- Spring AI와 MCP를 활용하여 확장 가능한 AI 시스템 구축에 대한 소개 🚀
- 생성형 AI 모델은 상태가 없고 과거 데이터에 고정되어 있어, 특정 데이터에 대한 인식이 필요 🧠
- Spring AI는 다양한 모델과 도구를 제공하여 생성형 AI 모델 통합을 지원 🛠️
- 에이전트는 환경과 상호작용하여 사용자 정의 문제를 해결하는 시스템으로 정의되며, 계획(뇌)과 실행(몸)으로 구성 🤖
- 에이전트 루프는 결과 평가 및 개선을 통해 솔루션을 반복적으로 개선하는 과정 🔄
- LLM은 입력과 출력이 제한적이며, 프롬프트 엔지니어링이 중요하고, 상태 유지가 필요 ⚠️
- 프롬프트는 시스템 지침, 사용자 질문, 추가 데이터, 대화 기록, 도구 메타데이터 등으로 구성 📝
- Spring AI의 어드바이저는 모델과의 상호작용을 가로채고 비즈니스 로직을 추가하는 데 사용 🧩
- 챗 메모리는 대화 기록을 유지하여 모델이 이전 대화를 기억하도록 돕는 기능 💬
- 프롬프트 스터핑은 모델이 알지 못하는 특정 데이터를 프롬프트에 추가하여 질문에 답변하도록 하는 기술 ℹ️
- RAG(검색 증강 생성)는 대규모 데이터를 청크로 분할하여 벡터 스토어에 저장하고, 사용자 요청에 따라 관련 데이터를 동적으로 프롬프트에 추가하는 방식 🔍
- Spring AI는 모델 RAG를 위한 고급 API를 지원하며, 멀티모달리티를 통해 텍스트 외에 이미지, 오디오 등 다양한 형태의 데이터를 처리 가능 🖼️
- 오디오 챗 어시스턴트 데모를 통해 음성 입출력을 지원하는 멀티모달리티 활용 사례 제시 🎤