로컬 스크립트에서 하루에 한 번 돌아가는 파이프라인이 되기까지: 당근지도의 여정 | 2025 당근 플랫폼 밋업
- 당근 지도는 WMTS 표준에 따라
zxy 인덱스를 가진 수백만 개의 타일 조각으로 지구를 효율적으로 표현하고 서빙합니다. 🧩
- 초기 POC 단계에서는 RabbitMQ 기반 메시징 파이프라인과 하이브리드 서빙 구조를 통해 방대한 지도 데이터 생성 자동화 가능성을 검증했습니다. 🚀
- 확장성, 신뢰성, 운영성 확보를 위해 메시징 인프라를 RabbitMQ에서 Kafka로 전면 재설계하여 병렬 처리, 유실 없는 데이터 처리, 실시간 모니터링을 구현했습니다. 📈
- 복잡한 지형 데이터 추가로 인한 공간 연산량 폭증 문제를 해결하기 위해 데이터를 더 작은 단위로 분할하고 쿼리 결과를 재사용하는 로직 개선으로 파이프라인 성능을 획기적으로 향상시켰습니다. 🗺️
- 하루 한 번 이상의 안정적인 자동 업데이트를 위해 개별 작업의 상태 추적 및 실패 시 재시도가 가능한 DB 기반 작업 큐 관리 시스템으로 전환하여 모니터링 가시성과 시스템 안정성을 높였습니다. 🔄
- 데이터 수집부터 가공, 타일 생성, 검증, 서비스 반영까지 전 과정을 자동화하여 엔지니어 개입 없이 어드민을 통해 데이터 수정 시 다음 날 자동으로 지도에 반영되도록 운영하고 있습니다. ⚙️
- 향후 데이터 처리 로직과 애플리케이션 로직 간의 결합도를 낮추기 위한 데이터 표준화 파이프라인 도입과 함께, 지도 위에서 다양한 로컬 콘텐츠를 서빙하는 플랫폼으로 확장할 계획입니다. 🌟
데브허브 | DEVHUB | 로컬 스크립트에서 하루에 한 번 돌아가는 파이프라인이 되기까지: 당근지도의 여정 | 2025 당근 플랫폼 밋업