- AgentEvals는 에이전트의 경로(trajectory)를 평가하는 오픈소스 패키지입니다. 🔍
- 경로 일치(Trajectory Match)와 LLM 평가 방식 두 가지를 제공합니다. ⚖️
- 경로 일치는 엄격 모드, 순서 무관 모드, 부분 집합 모드 등 다양한 매칭 모드를 지원합니다. ⚙️
- LLM 평가는 에이전트의 추론 과정을 평가하는 데 유용합니다. 🤔
- LLM 평가를 위해 미리 만들어진 프롬프트와 추가적인 매개변수를 사용할 수 있습니다. 📝
- AgentEvals는 LLM-Smith와 통합되어 반복적인 평가와 실험 관리를 지원합니다. 🔄
- AgentEvals를 활용하여 에이전트 개발 과정에서 지속적인 성능 개선을 도모할 수 있습니다. 📈
Recommanded Videos
