AI 요약관련 정보

• Spring AI는 다양한 LLM(Large Language Model)에 대한 추상화 계층을 제공하여, 개발자가 모델을 쉽게 전환하고 통합할 수 있도록 돕습니다. 🔄
• Vaadin은 Spring AI 기반 애플리케이션의 UI 레이어로 활용되어, 자바만으로 웹 애플리케이션을 구축하고 LLM과 상호작용할 수 있게 합니다. 💻
• LLM은 기본적으로 비상태성이므로, 이전 대화의 맥락을 유지하기 위해 MessageChatMemoryAdvisor를 사용하여 대화 기록을 관리해야 합니다. 🧠
• AI의 역할, 성격, 응답 방식을 정의하는 시스템 프롬프트를 통해 LLM의 행동을 효과적으로 제어하고 특정 페르소나를 부여할 수 있습니다. 🎭
• 긴 응답의 경우, Spring AI의 스트리밍 기능을 활용하여 토큰 단위로 응답을 전달함으로써 사용자 대기 시간을 줄이고 상호작용 경험을 향상시킬 수 있습니다. ⚡
• LLM의 환각, 민감 정보 노출, 비결정성 문제를 해결하기 위해 입력 및 출력 가드레일을 도입하여 안전성과 신뢰성을 확보해야 합니다. 🚧
• 입력 가드레일은 사용자 질문이 LLM으로 전송되기 전에 민감 정보, 유해 콘텐츠, 정책 준수 여부 등을 검사하여 부적절한 요청을 차단합니다. 🛡️
• 출력 가드레일은 LLM의 응답이 사용자에게 전달되기 전에 내용의 정확성, 안전성, 유효성을 검증하며, 필요한 경우 모델에 재요청하거나 응답을 차단할 수 있습니다. ✅
• 민감한 데이터를 외부 클라우드 모델로 보내는 위험을 피하기 위해, 가드레일 검증에는 온프레미스 또는 로컬에서 실행되는 LLM을 사용하는 것이 권장됩니다. 🔒
• Aroneia와 OpenTelemetry를 활용하여 개발 환경 설정을 간소화하고 AI 애플리케이션의 동작을 심층적으로 관찰할 수 있습니다. 🛠️