AI 요약관련 정보

• LangChain의 새로운 'Tool Call Limit Middleware'는 에이전트가 도구를 과도하게 호출하여 발생하는 불필요한 비용(AI 할당량 소모)을 방지합니다. 💸
• 이 미들웨어는 모델이 도구를 호출한 후, 실제 도구 실행 전에 개입하여 설정된 제한을 적용합니다. ⚙️
• 도구 호출 제한은 '실행(run)' 수준(단일 에이전트 호출)과 '스레드/대화(thread/conversation)' 수준(장기 대화)으로 설정할 수 있습니다. ⏱️
• '실행 수준' 제한은 병렬 도구 호출이나 긴 반복 호출을 방지하는 데 유용하며, '대화 수준' 제한은 전체 대화에서 특정 도구의 사용 횟수를 제어합니다. 🛑
• 미들웨어는 모든 도구에 전역적으로 적용하거나 특정 도구 이름에 따라 개별적으로 제한을 설정할 수 있습니다. 🎯
• 제한 초과 시의 동작은 세 가지로 구성 가능합니다: '계속(continue)' (기본값, 제한 초과 메시지 삽입 후 다른 도구 호출 허용), '종료(end)' (즉시 에이전트 루프 종료), '오류(error)' (즉시 오류 발생). ⚠️
• 예시에서는 '구매' 도구에 대해 실행당 1회, 대화당 2회로 제한을 설정하여, 제한 초과 시 에이전트가 도구 호출을 중단하거나 실패를 인지하는 모습을 보여줍니다. 🛍️
• 이 미들웨어는 에이전트의 예측 불가능한 행동으로 인한 비용 발생을 효과적으로 관리하고 제어하는 데 필수적인 도구입니다. ✅