- LLM 앱의 신뢰성을 높이기 위해 코드베이스 내 직접 사용 가능한 간단한 평가 기술을 도입할 수 있다. 🧪
- 실제 입력-출력 샘플에서 기반을 둔 AssertionError 유닛 테스트를 사용하여 이를 수행할 수 있다. 📌
- 사용자 입력뿐만 아니라 API 또는 webhook에서도 실제 데이터를 수집하는 것이 중요하다. 📥
- 구조화된 출력을 사용하여 원하는 정보(예: 의도, 확신, 확대 여부)를 추출하여 평가 수행에 활용할 수 있다. 🎯
- 최소 3개 이상의 AssertionError을 설정하여 LLM의 출력을 다각적으로 검증한다. 📈