AI 요약관련 정보

• Autoleg는 한국어 임베딩 모델을 벤치마크하는 데 사용할 수 있는 레파지토리를 제공합니다. 🧰
• UserRepository: Autoleg Apple Korean Bench 를 참고하여 레포지토리를 저장소에서 클론하여 내려받습니다. 📑
• API Key 필요: Upstage, Cohere, An API Key를 획득하여 emv 파일을 구성해야 합니다. 🔑
• CUDA 권장: 벤치마크 실행 시 빠른 성능을 위해 CUDA 가속을 지원하는 환경이 필요합니다. ⚡️
• Bench Mark 메트릭: 6가지 메트릭 (ROUGE, BLEU, PLU, etc.)을 사용하여 다양한 임베딩 모델을 평가합니다. 📊
• 데이터셋: Naver Clova 모델로 OCR을 수행하여 생성된 한국어 LegBenchmark 데이터셋을 사용합니다. 📰
• 질의응답 형식: 질문(query), 생성된 답변(generation), 전망 문서(retry) 형태로 데이터셋 구조가 이루어져 있습니다. 🤔