데브허브 | DEVHUB | No Code LangSmith EvaluationsNo Code LangSmith Evaluations
- LangChain은 LangGraph Studio에서 LangGraph 에이전트에 대한 노코드 평가 기능을 도입하여 개발자가 아닌 사용자도 쉽게 에이전트 성능을 평가할 수 있도록 했습니다. 🚀
- 사용자는 LangGraph Studio 내에서 버튼 클릭만으로 데이터셋을 선택하고 평가 실험을 시작할 수 있으며, 결과는 LangSmith에서 상세하게 확인할 수 있습니다. ✨
- 이 기능은 평가를 위해 복잡한 SDK나 API 지식이 필요했던 기존의 개발자 중심 장벽을 허물어 비기술 사용자도 에이전트 구성을 평가할 수 있게 합니다. 🔓
- 개발자는 데이터셋을 정의하고, LM(언어 모델) 기반 평가자(LM as judge)를 데이터셋에 고정하는 등 평가 환경을 사전에 설정할 수 있습니다. 🛠️
- Studio UI에서 에이전트의 모델 선택, 프롬프트 등 다양한 구성을 노코드 방식으로 쉽게 변경하고, 변경된 구성으로 새로운 평가를 즉시 실행할 수 있습니다. 🔄
- 평가 완료 후에는 LangSmith에서 이전 실험 결과와 비교하여 다양한 구성 변경이 에이전트 성능에 미치는 영향을 신속하게 파악할 수 있습니다. 📊
- 이 기능은 개발자에게도 그래프 구성 변경에 따른 빠른 반복 평가를 가능하게 하여 개발 효율성을 높여줍니다. ⚡
- 궁극적으로 LangGraph Studio는 에이전트 구축과 테스트, 신속한 평가를 통합하여 에이전트 개발 과정을 간소화합니다. 🤝