문서 청크 지식 생성을 통한 생성형 검색 시스템의 정확도 향상 방법

청크지식생성모델 개발 배경 및 구조

• 생성형 검색 시스템의 고질적인 '어휘 불일치(Lexical Mismatch)' 문제 해결을 목표로 함.
• 초거대 언어 모델(LLM)의 높은 비용과 비효율성을 극복하기 위해 T5 기반 멀티태스크 구조를 채택.
• 문서를 '청크' 단위로 분할하여 키워드, 제목, 후보 질문을 동시에 생성하는 '단일 인코딩, 병렬 생성' 방식.
• 키워드 추출은 시퀀스 태깅, 제목 및 후보 질문 생성은 독립 디코더 활용. 모델 성능 및 효율성
• Qdrant 벡터 검색 환경에서 Top@1 정확도 84.26%, 평균 91.39%의 높은 검색 성능 기록.
• GPU 메모리 사용률 6~11%로 매우 낮아 실시간 응답 가능한 경량형 모델임을 입증.
• 제목 생성 92.0%, 후보 질문 90.0%, 키워드 추출 93.6%의 높은 정합성. 연구 의의 및 향후 방향
• 대규모 LLM 없이도 검색 정확도와 효율성을 동시에 높이는 현실적인 RAG 시스템 설계 방향 제시.
• 향후 키워드 추출과 메타데이터 필터링을 결합하여 검색 정밀도 강화 예정.