AI 요약관련 정보

• RAG는 AI 에이전트가 지식과 문서를 활용하도록 돕는 핵심 기술이며, 최적의 결과를 위해 3~5가지 전략을 조합하는 것이 일반적입니다. 🧠
• 재랭킹(Re-ranking): 1차로 많은 청크를 검색한 후, 특수 모델(크로스 인코더)로 가장 관련성 높은 청크만 선별하여 LLM에 전달함으로써 과부하를 방지하고 정확도를 높입니다. 🎯
• 에이전트 RAG (Agentic RAG): 에이전트가 지식 베이스를 검색하는 방식을 스스로 선택할 수 있게 하여 유연성을 제공하지만, 명확한 지침이 필요하며 예측 가능성이 낮아질 수 있습니다. 🤖
• 지식 그래프 (Knowledge Graphs): 벡터 검색과 그래프 데이터베이스를 결합하여 엔티티 간의 관계를 탐색할 수 있게 하며, 상호 연결된 데이터에 강력하지만 구축 비용과 시간이 더 소요됩니다. 🕸️
• 문맥 인식 검색 (Contextual Retrieval): LLM을 사용하여 각 청크에 문서 내에서의 역할을 설명하는 정보를 추가하여 저장함으로써 더 풍부한 문맥을 제공하지만, 생성 비용이 증가합니다. 📚
• 쿼리 확장 (Query Expansion): LLM이 사용자 쿼리를 검색 전에 확장하여 더 구체적이고 관련성 높은 청크를 찾도록 돕지만, 추가 LLM 호출로 인해 속도가 느려집니다. 🔍
• 다중 쿼리 RAG (Multi-query RAG): LLM이 여러 쿼리 변형을 생성하여 병렬로 검색함으로써 포괄적인 커버리지를 제공하지만, LLM 호출 및 데이터베이스 쿼리 수가 늘어납니다. 👯
• 문맥 인식 청킹 (Context-aware Chunking): 문서 구조를 유지하면서 자연스러운 경계를 찾아 청크를 분할하는 데이터 준비 전략으로, 임베딩 정확도를 높이고 효율적입니다. ✂️
• 지연 청킹 (Late Chunking): 문서를 청킹하기 전에 임베딩 모델을 적용하고 토큰 임베딩을 청크하여 문서 전체의 문맥을 유지하지만, 구현이 매우 복잡합니다. ⏳
• 계층적 RAG (Hierarchical RAG): 지식의 여러 계층(부모-자식 청크 관계)을 활용하여 정밀한 검색(작은 청크)과 넓은 문맥(전체 문서) 제공 사이의 균형을 맞춥니다. 🌳
• 자기 성찰 RAG (Self-reflective RAG): 초기 검색 후 LLM이 청크의 관련성을 평가하고, 필요시 검색을 재시도하여 스스로 교정하는 루프를 통해 정확도를 높입니다. 🔄
• 임베딩 미세 조정 (Fine-tune Embeddings): 특정 도메인 데이터셋으로 임베딩 모델을 미세 조정하여 정확도를 5~10% 향상시키고, 작은 모델도 대형 모델을 능가하게 할 수 있습니다. 🛠️
• 초기 RAG 구현 시 재랭킹, 에이전트 RAG, 문맥 인식 청킹(하이브리드 RAG) 조합을 강력히 추천합니다. ✨