한국어 잘하는 로컬 LLM으로 RAG 성능 평가 - Gemma2, Qwen2 (구독자 이벤트 있음: ~ 2024년 7월 10일)

• 한국어로 된 웹페이지 내용을 기반으로 RAG 시스템을 구현하여 한국어 LLM 성능을 평가하는 내용입니다. 💬
• RAG(Retrieval Augmented Generation) 기술의 두 가지 핵심 단계인 Retrieval과 Generation 단계를 포함하고 있습니다. 🔍️ 🖊️
• Retrieval 단계에서는 Context Precision과 Context Recall 두 가지 지표를 사용하여 질문과 검색 결과의 관련성을 평가합니다. 📈
• Generation 단계에서는 Answer Relevance와 Completeness 두 가지 지표를 사용하여 생성된 답변의 질문에 대한 관련성과 문맥 반영 정도를 평가합니다. 📚

Auto Leg 라이브러리를 활용하여 질문-답변 쌍으로 이루어진 테스트 데이터셋을 자동으로 생성합니다. 🤖

• 테스트 데이터셋은 구축된 RAG 시스템의 성능 평가에 활용됩니다. 📊