Mapping Karrot’s Data: How We Built Column-Level Lineage

데이터 가시성 문제 및 해결

• 당근은 데이터 흐름의 가시성 부족으로 연쇄 장애, 스키마 변경 영향 분석 어려움 등 문제 직면.
• 기존 테이블 레벨 리니지는 세부적인 영향 분석(PII 전파, 특정 컬럼 변경 영향)에 한계.
• 컬럼 레벨 데이터 리니지 구축을 통해 세밀한 영향 분석, PII 추적, 빠른 원인 분석 가능.

SQL 파싱 기반 리니지 구축

• BigQuery INFORMATION_SCHEMA.JOBS의 쿼리 로그를 입력으로 활용하는 SQL 파싱 방식 채택.
• 기술 스택: sqlglot (SQL 파싱), Spark (병렬 처리), Airflow (스케줄링), BigQuery (데이터 저장).
• CTE, 서브쿼리, 별칭 등 복잡한 SQL 패턴 처리 로직 개발.
• 데이터 모델은 원시 테이블과 목적별 뷰로 분리하여 다양한 활용 사례 지원.

내부 활용 및 성과

• MCP 서버를 통해 LLM이 리니지 정보를 직접 질의하도록 통합, 영향 분석 및 문제 추적 자동화.
• 매일 약 15,000개 테이블과 800,000개 컬럼 레벨 의존성 자동 추출 및 업데이트.
• 데이터 운영의 신뢰성 향상 및 개발 시간 단축에 기여.
• 향후 실시간 업데이트 및 시각화 도구 개발 예정.