AI 요약관련 정보

• LangSmith의 주석 큐는 개발자와 전문가가 애플리케이션 성능에 대한 직접적인 피드백을 제공하여 인간 피드백 기반 개선을 가능하게 합니다. 🧑‍💻
• 큐 생성 시 이름, 설명, 기본 데이터셋, 검토자 지침, 피드백 지표(예: 정확성), 필요한 검토자 수 및 예약 기능을 설정할 수 있습니다. ⚙️
• 개별 트레이스 또는 여러 트레이스를 한 번에 주석 큐에 추가하여 검토할 수 있습니다. ➕
• 검토자는 트레이스의 입력과 출력을 확인하고, 정확성 점수와 같은 피드백을 제공하며, 필요에 따라 출력 답변을 수정하고, 자유 형식의 댓글을 남길 수 있습니다. 📝
• 주석이 달린 트레이스는 애플리케이션 개선을 위해 '골든 데이터셋'과 같은 지정된 데이터셋에 저장될 수 있습니다. 💾
• '예약' 기능은 특정 검토자가 일정 시간 동안 주석을 잠글 수 있도록 하여 체계적인 검토 프로세스를 지원합니다. 🔒