AI 요약관련 정보

• LangSmith 자동화는 프로덕션 앱으로 전송되는 모든 추적에 대해 실행되도록 구성할 수 있는 강력한 규칙입니다. ⚙️
• 온라인 평가는 라이브 프로덕션 사용자 상호 작용에서 실행되어 애플리케이션 출력에 대한 메트릭을 측정하는 데 도움이 됩니다. 📊
• 자동화는 추적을 주석 대기열 또는 데이터 세트에 추가하고, 평가자를 적용하고, 피드백을 추가하고, 웹훅을 트리거할 수 있습니다. 🔗
• 자동화를 사용하여 추적 보존 기간을 연장할 수 있습니다. ⏳
• LLM을 사용하여 챗봇 답변이 어린이에게 충분히 간단한지 평가하는 온라인 평가자를 설정했습니다. 🤖
• 높은 단순성 점수를 가진 추적의 하위 집합을 주석 대기열에 추가하여 검토할 수 있습니다. 📝
• 피드백을 추가하는 규칙은 피드백에서 트리거되는 규칙이 제대로 실행되도록 추적을 다른 자동화를 통해 다시 보냅니다. 🔄
• 온라인 평가자가 추가한 피드백은 피드백 열에 표시되며 개별 추적에서도 볼 수 있습니다. 👀