AI 요약관련 정보

• LLM 애플리케이션 평가를 간소화하는 Align Evals 기능 출시 🚀.
• Align Evals는 데이터 라벨링을 통해 평가자를 생성하는 새로운 방법 제공 🏷️.
• Langsmith는 LLM 애플리케이션 관찰 및 평가 플랫폼이며, Langchain과 함께 또는 없이 사용 가능 🛠️.
• Align Evals는 대표적인 샘플 실행 수집, 전문가 라벨링, 프롬프트 반복의 과정을 거침 🧑‍🏫.
• 평가자 플레이그라운드에서 LLM judge 프롬프트를 작성하고, 사람의 라벨과 얼마나 일치하는지 확인 가능 ⚖️.
• 프롬프트와 모델을 변경하며 정렬을 개선하고, 평가자를 저장하여 새로운 실험에 적용 가능 ✨.
• Eugene Yan의 Align eval에서 영감을 받아 개발되었으며, 오늘부터 사용 가능 💡.