AI 요약관련 정보

• AI 에이전트 프로덕션의 가장 큰 걸림돌은 '품질'이며, 이를 해결하기 위해 '평가(Evals)'가 필수적입니다. 🚧
• 평가는 프로토타입에서 프로덕션으로 전환하고 품질을 지속적으로 향상시키는 핵심 기술입니다. 📈
• 평가는 세 가지 주요 유형으로 나뉩니다: 오프라인(배포 전 데이터셋), 온라인(실시간 프로덕션 데이터), 인-더-루프(에이전트 실행 중 자체 수정). 🔄
• 평가는 '데이터'와 '평가자' 두 가지 핵심 요소로 구성되며, 실제 사용자 시나리오에 맞는 데이터셋과 평가자 구축이 중요합니다. 📊
• Langsmith는 뛰어난 관찰 가능성(Observability)을 통해 온라인 평가를 위한 트레이싱 및 오프라인 평가를 위한 데이터셋 구축을 용이하게 합니다. 🔍
• 평가자 유형에는 코드 기반(정확하고 빠르지만 제한적), LLM을 심판으로 활용(복잡성 처리, 유망하지만 설정 어려움), 인간 주석(사용자 피드백, 수동 검토)이 있습니다. 🤖
• LangChain은 코드 린팅, RAG, 추출, 도구 호출 등 일반적인 사용 사례를 위한 오픈 소스 평가자(Open Evals)를 제공하며, LLM 심판 및 대화 시뮬레이션과 같은 맞춤형 평가도 지원합니다. 🛠️
• LLM을 심판으로 사용하는 평가의 어려움을 해결하기 위해, Langsmith는 Align Eval 기반 기능과 평가 보정(Eval Calibration) 기술을 비공개 프리뷰로 제공하여 신뢰도를 높입니다. ✨
• 평가는 일회성 작업이 아닌, 에이전트의 전체 수명 주기 동안 지속적으로 수행되어야 하는 여정입니다. 🚀