당근페이의 Amazon Bedrock 기반 Text-to-SQL로 완성하는 데이터 혁신, Part 2: 데이터 수집과 관리, 향후 계획

간단 소개

당근페이의 Amazon Bedrock 기반 Text-to-SQL 데이터 혁신 2부: 데이터 수집, 관리 방법, 향후 계획을 요약합니다.

AI Summary

브로쿼리 데이터 수집 및 관리
- 분석 데이터와 메타데이터를 활용, 메타데이터는 비즈니스, 기술, 운영 정보로 분류.
- 내부 데이터 도구를 활용하여 메타데이터의 일관성 및 최신성 유지.
- dbt YAML 파일을 통해 테이블/컬럼 설명, 데이터 품질 규칙 등을 코드화하여 관리.
성능 개선 및 정확도 향상
- Retrieval 최적화, Supervised Fine Tuning (SFT), 비즈니스 컨텍스트 고도화, Evaluation 체계 고도화에 집중.
- OpenSearch Hybrid Search 튜닝, 용어 사전 구축, Multi-hop Semantic Validation 활용.
브로쿼리 도입 효과 및 향후 계획
- 의사결정 속도 향상, 데이터 접근성 및 활용성 증가, 데이터 리터러시 강화, 엔지니어 리소스 절감, 데이터 중심 문화 정착 등의 효과.
- MCP 기반 툴 확장, SFT 학습 데이터 확보, 사용자 피드백 기반 정교화, 데이터 영속성 확보, 고도화된 기능 확장 계획.