AI 요약관련 정보

• AI 애플리케이션 테스트의 어려움은 LLM 응답의 비결정성, 설명 불가능성, 예측 불가능성, 반복 불가능성 때문입니다. 🤖
• LLM은 환각을 일으킬 수 있으며, 이는 출력, 입력-출력 간 불일치, 사실적 오류의 형태로 나타날 수 있습니다. 😵‍💫
• LLM은 저널리스트와 같아서 항상 답변을 제공하려 하지만, 그 답변이 틀릴 수도 있습니다. 📰
• LLM을 사용할 때는 알려진 입력과 검증 가능한 출력이 필요한 경우 전통적인 소프트웨어 개발을 사용하는 것이 좋습니다. ✅
• LLM은 자연어 스타일로 사용자에게 정보를 제공하는 데 유용합니다. 🗣️
• 결정론적 테스트가 불가능하므로, 개발자는 온도 조절, 구조화된 출력, 휴먼 에발, 저지 등의 기술을 사용해야 합니다. 🌡️
• 온도를 낮추면 모델의 창의성이 줄어들어 예측 가능성이 높아집니다. ⬇️
• 구조화된 출력을 사용하면 테스트가 더 쉬워지지만, 항상 가능한 것은 아니며 내용이 비결정적일 수도 있습니다. 🧱
• 비구조화된 출력의 경우, ROUGE, 레벤슈타인 거리, OpenNLP, 벡터 임베딩 등의 수학적 알고리즘을 사용하여 유사성을 측정할 수 있습니다. ➗
• 벡터 임베딩은 일반적으로 가장 효과적인 방법입니다. 🧮
• 지속적 통합 테스트는 개발자가 수행하며, 평가 테스트는 LLM의 관점에서 수행됩니다. 🧪
• A/B 테스트는 프로덕션 환경에서 수행되어야 합니다. 📊