How Harvey Built Reliable AI Agents with LangSmith & Custom Tools
- Harvey는 법률 및 전문 서비스 분야를 위한 AI 솔루션을 제공하며, 문서 요약, 추출, 특정 에이전트 및 워크플로우를 포함합니다. 🤖
- 법률 분야의 복잡성으로 인해 고품질 AI 제품을 구축하고 평가하는 데 어려움이 많습니다. ⚖️
- Harvey는 변호사를 제품 개발 과정에 참여시켜 사용자 공감을 얻고 제품 품질을 향상시킵니다. 👩⚖️
- 프로토타입 제작을 중시하며, 빠른 반복을 통해 제품을 개선합니다. 🧪
- 인간 선호도 판단이 여전히 가장 중요한 평가 방법이며, 이를 효율적으로 수집하는 데 집중합니다. 🧑🤝🧑
- 자동 평가를 위해 LLM을 활용하지만, 실제 복잡성을 반영하기 위해 자체 평가 벤치마크를 구축했습니다. 🧐
- 워크플로우 및 에이전트를 단계별로 나누어 각 단계를 평가하여 문제 해결을 용이하게 합니다. 🪜
- 강력한 도구, 프로세스 및 문서화에 투자하여 평가 효율성을 높입니다. 🛠️