AI 요약관련 정보

• LLM에 더 많은 도구를 제공할수록 성능이 저하된다는 중요한 통찰이 있다. 📉
• LLM 도구는 시스템 프롬프트에 제목, 설명, JSON 스키마 형태로 정의되어 추가된다. 🛠️
• 모델에 따라 6~8개 도구까지는 괜찮지만, 수십 개의 도구를 사용하면 문제가 발생하기 시작한다. ⚠️
• 각 도구 정의가 컨텍스트 창의 공간을 차지하여 'lost in the middle' 문제로 이어져 성능을 저하시킨다. 🧠
• 도구 정의가 너무 많으면 LLM이 특정 상황에 적합한 도구를 식별하고 선택하는 데 어려움을 겪는다. 🤔
• 따라서 시스템 프롬프트에는 필요한 도구만 포함하는 것이 중요하다. ✅
• MCP 서버 환경에서는 쉽게 많은 도구로 설정이 과부하될 수 있다. ☁️
• VS Code, Cursor와 같은 일부 애플리케이션은 도구를 활성화하거나 비활성화하는 기능을 제공한다. 💡