- LangSmith의 알림 기능은 애플리케이션의 중요한 지표를 사전에 모니터링할 수 있게 해줍니다. 🚨
- 지연 시간, 오류 실행, 피드백 점수 등 다양한 메트릭에 대한 알림을 설정할 수 있습니다. 📊
- 알림 임계값을 설정할 때 과거 데이터를 시각화하여 최적의 값을 설정할 수 있습니다. ⚙️
- PagerDuty 또는 웹훅을 통해 알림을 받을 수 있으며, Slack 채널로 알림을 보내는 방법도 제공됩니다. 🔔
- 온라인 평가 결과를 기반으로 피드백 점수에 대한 알림을 설정하여 LLM 애플리케이션의 품질을 측정할 수 있습니다. 💯