생성형 검색 (RAG) 평가의 최근 트렌드

간단 소개

생성형 검색(RAG) 평가의 최신 트렌드를 분석하고, LLM Ops 플랫폼, RAG 평가 지표, Long Context와 RAG의 비교를 다룬다.

AI Summary

LLM Ops 평가 플랫폼의 등장
- LangSmith와 Weights&Biases 같은 플랫폼이 AI 모델 및 평가 데이터셋 등록, 지표 기반 평가를 제공.
- 다양한 오픈소스 프로젝트 존재.
RAG 평가 지표의 다양화 및 세분화
- RAGAs 프레임워크가 사실상 표준으로 자리매김.
- 컨텍스트 품질(컨텍스트 정확도, 컨텍스트 재현율)과 답변 품질(충실도, 답변 관련성)을 측정.
- 인용 과정의 오류를 평가하는 방법론 등장.
Long Context (LC) vs RAG 비교
- 단순 요약 질문에는 LC가, 정보가 흩어진 경우 RAG가 유리.
- LC는 위키피디아 기반 질문에, RAG는 대화형 질문에 강점.
- 사실 기반 질문에는 LC, 개방형 질문에는 RAG가 유사한 성능.