데브허브 | DEVHUB | Study Group 발표 자료 - RAG의 이해와 Obsidian 적용 - PKM Project - My AI 2nd BrainStudy Group 발표 자료 - RAG의 이해와 Obsidian 적용 - PKM Project - My AI 2nd Brain
- PKM 프로젝트 스터디 그룹은 AI를 활용한 '나만의 세컨드 브레인' 구축을 목표로 하며, 옵시디안을 주요 데이터 관리 도구로 사용하고 AI 기술 접목을 연구합니다. 🧠
- RAG(Retrieval Augmented Generation)는 LLM의 한계(최신 정보 부족, 환각 현상, 높은 재학습 비용)를 보완하기 위해 등장했습니다. 🛠️
- LLM은 특정 시점의 정적 데이터셋으로 훈련되어 최신 정보나 개인화된 문맥에 접근할 수 없으며, 확률적 패턴에 기반한 응답 생성으로 '환각(Hallucination)' 현상이 발생합니다. 🚫
- RAG는 외부 데이터를 검색(Retrieval)하여 이를 기반으로 LLM이 응답을 생성(Generation)하도록 하는 프레임워크입니다. 🔍
- RAG의 핵심 아이디어는 뉴스 기사, 논문, 웹페이지, 개인 노트(옵시디안) 등 외부 데이터를 LLM에 '컨텍스트'로 제공하여 정확하고 문맥에 맞는 답변을 유도하는 것입니다. 📚
- RAG 동작 과정은 데이터 수집 → 텍스트를 벡터 형태로 변환하여 벡터 스토어에 저장(인베딩 및 청크 분할) → 사용자 질문과 유사한 데이터 검색 → 검색된 정보를 바탕으로 LLM이 답변 생성 순으로 진행됩니다. 🔄
- RAG 구현에는 인베딩 모델(예: OpenAI Embeddings), 벡터 스토어(예: Faiss, Pinecone), 생성형 AI 모델(예: ChatGPT, Claude)이 필요합니다. ⚙️
- RAG는 크게 '스탠더드 RAG'와 '그래프 RAG' 두 가지 종류가 있습니다. 📊
- 스탠더드 RAG는 텍스트 유사도 검색 기반으로 빠르고 단순하며 FAQ나 명확한 지식 질의에 적합합니다. 🚀
- 그래프 RAG는 지식 그래프(엔티티와 관계)를 활용하여 관계 기반 질의나 다단계 추론에 강력하며, 옵시디안의 지식 그래프 구조와 궁합이 좋습니다. 🕸️
- 옵시디안은 노트 간 연결 구조를 시각적으로 보여주는 지식 그래프 기반 툴이므로, 복잡한 관계성이나 흐름 기반 검색에는 그래프 RAG가, 단순 키워드 검색에는 스탠더드 RAG가 적합하며, 두 방식을 조합하는 것이 효율적입니다. 🔗
- RAG 구현 시, 옵시디안 플러그인을 통해 노트를 로드하고, 인베딩 모델로 벡터 변환 후 벡터 스토어에 저장하며, 사용자 질문에 따라 관련 청크를 검색하여 LLM에 컨텍스트로 전달하는 방식으로 작동합니다. 💻