유튜브블로그Top 10
내 프로필

데브허브 안내
소개업데이트 소식

데브허브 커뮤니티

한국어 임베딩 기반 오픈소스 LLM 질의응답 RAG 구현 (PDF 문서) - 랭체인(LangChain), 올라마(Ollama), 허깅페이스(Huggingface)

판다스 스튜디오

2024. 6. 25.

0

#ai
  • 한국어 기반 오픈소스 LLM과 RAG를 활용하여 PDF 데이터 질의응답 시스템 구축 🤖
  • PDF 데이터는 케이스별로 분할하여 처리
  • Pi PDF Loader를 이용하여 PDF 파일을 읽어 들이기 📄
  • 이미지 콘텐츠는 OCR 기능이 있는 문서 로더를 사용해야 처리 가능
  • 각 페이지의 텍스트를 추출하여 전체 텍스트를 연속적으로 저장
  • 텍스트 항목을 활용하여 질의응답을 위한 파트너 추출 🕵️

Recommanded Videos