AI 요약관련 정보

• 기존 RAG의 한계: 기본적인 RAG는 외부 지식 검색 시 약 10%의 높은 실패율로 인해 부정확한 답변을 제공할 수 있습니다. 📉
• 컨텍스트 검색의 중요성: Anthropic 팀이 소개한 컨텍스트 검색(Contextual Retrieval) 전략은 RAG의 정확도를 크게 향상시켜 검색 실패율을 3% 미만으로 줄입니다. 🎯
• 작동 원리: 문서 전체와 현재 처리 중인 청크를 LLM에 제공하여 해당 청크에 대한 간결한 컨텍스트를 생성하고, 이를 청크 내용 앞에 추가한 후 임베딩합니다. 🧠
• 향상된 이해도: 추가된 컨텍스트는 LLM이 청크가 문서 전체에서 어떤 위치와 의미를 가지는지 이해하도록 돕고, '확대/축소'하여 정보를 더 효과적으로 활용하게 합니다. 🗺️
• 구현 과정: 문서를 작은 청크로 분할한 후, 각 청크에 대해 저렴한 소형 LLM(예: GPT-4.1 Nano)을 사용하여 컨텍스트를 생성하고, 이 컨텍스트를 청크에 접두사로 붙여 벡터 데이터베이스에 저장합니다. ✂️
• 비용 효율성: 프롬프트 캐싱(Prompt Caching) 기술 덕분에 전체 문서를 반복적으로 LLM에 보내는 비용이 크게 절감되며, 저렴한 LLM 사용으로 추가 비용 부담을 줄일 수 있습니다. 💰
• N8N 워크플로우 예시: Google Drive에서 파일 변경을 감지하고, 텍스트를 추출하여 사용자 정의 청크로 분할한 다음, LLM을 통해 컨텍스트를 생성하고 이를 청크와 결합하여 벡터 데이터베이스에 저장하는 과정을 시각적으로 보여줍니다. ☁️
• 실제 적용: 생성된 컨텍스트는 청크 내용과 구분자(예: ---)로 분리되어 저장되며, 특히 문서 중간 부분의 청크에 대한 컨텍스트는 LLM이 해당 정보를 더 잘 활용하는 데 결정적인 역할을 합니다. ➕