문서에서 필요정보만 뽑아 LLM에 입력하는 방법 - Upstage Document Parse

간단 소개

Upstage Document Parse(DP)는 문서 파싱 기술로, OCR을 넘어 문서 구조를 이해하고 LLM에 활용 가능한 형태로 변환한다.

AI Summary

Upstage Document Parse (DP) 소개
- DP는 OCR 기술을 넘어 문서 레이아웃과 구조를 파악, LLM 입력에 적합한 형태로 변환하는 기술이다.
- 문서 OCR, 핵심 정보 추출, 문서 구조 이해에 집중하며, 복잡한 문서 구조를 가진 기업 환경에서 중요성이 부각된다.
DP의 주요 기능 및 파이프라인
- 레이아웃 정보 추출, 레이아웃 박스 순서 파악, 테이블 구조 정보 추출 등의 기능을 제공한다.
- 업스테이지 OCR 모델은 텍스트 검출과 인식을 담당하며, 레이아웃 모델은 문서의 시각적 구조를 이해하고 분석한다.
데이터셋 및 성능 평가
- 고품질 데이터셋 구축을 통해 모델의 일반화 능력을 향상시키고 정확한 어노테이션을 제공한다.
- NID 매트릭은 텍스트 정보 중심으로, TEDS는 테이블 구조 중심으로 DP 성능을 평가한다.