RAG 개발에서 검색이 중요한 이유! 휴리스틱 평가법으로 시간과 비용 절약하기 & RAG 성능평가 데이터셋 합성하는 방법 with LLM

RAG 성능 평가는 검색 단계와 답변 생성 단계로 나뉜다. 🕵️‍♀️

검색 단계에서는 사용자 질문과 유사도가 높은 문서를 찾는 과정이며, 이러한 문서와 질문을 함께 LLM에 입력하여 답변을 생성한다. 🔎

답변 생성 단계에서는 생성된 답변이 제공된 맥락에 기반하여 생성되었는지, 즉 맥락 기반인지를 평가해야 한다. 📚

생성된 답변이 질문에 대한 올바른 답변인지, 즉 정확성을 평가하는 것도 중요하다. ✔️

답변이 질문과 관련성 있는지, 즉 답변이 질문에 적절한지 평가해야 한다. 💯