토스증권의 수천 개 실시간 데이터 파이프라인 운영방법 #1: Visualize Lineage

간단 소개

토스증권의 대규모 실시간 데이터 파이프라인 운영 경험 공유 및 데이터 리니지 시각화 방법 소개.

AI Summary

실시간 데이터 파이프라인의 중요성
- 토스증권은 실시간 데이터 파이프라인을 적극 활용하여 빅데이터 적재 및 CQRS 아키텍처 적용.
- 서비스 성장으로 수천 개의 파이프라인 운영, 데이터 활용성 증대 및 사용자 요구 충족.
대규모 파이프라인 운영의 어려움과 해결책
- SLA 충족, 확장성, 파이프라인 시각화가 중요.
- 데이터 리니지 시각화를 위해 DAG(Directed Acyclic Graph)를 활용, 파이프라인 관계 표현.
- MongoDB를 이용해 메타데이터를 관리하고, Graph Search 쿼리로 탐색 결과를 시각화.
리니지 시각화 서비스 활용 및 발전 방향
- 자동 완성 기능으로 파이프라인 검색 용이, 각 Job의 상세 정보 제공.
- 향후 구간별 메트릭 연동, 메타데이터 관리 기능 강화, DBT 연동을 통해 시스템 가시성 향상 목표.