FMS(Fleet Management System) 주행이벤트 파이프라인 개선기

간단 소개

쏘카 FMS 팀의 주행이벤트 파이프라인 개선 경험 공유: 데이터 순서 보장, 실시간 처리, 효율적인 리소스 관리 및 확장성 확보.

AI Summary

FMS 주행이벤트 파이프라인 개선 배경
- 쏘카의 FMS 엔지니어링팀은 차량 관제를 위한 PoC를 진행하며 주행 이벤트 탐지 파이프라인을 구축하고 개선함.
- EDA에 대한 이해, 대량 IoT 트래픽 처리 경험을 바탕으로 시스템 개선.
1차 파이프라인 개선: 데이터 순서 보장
- 기존 파이프라인의 문제점은 IoT 데이터의 순서가 보장되지 않아 이벤트 정합성이 깨지는 것이었음.
- DB에 데이터를 적재 후 스케줄링을 통해 이벤트 탐지를 진행하여 데이터 순서 보장.
2차 파이프라인 개선: 효율성 및 확장성 확보
- 스케줄링 기반 배치 작업으로 인한 리소스 비효율, 실시간 데이터 처리량 부족, MSA 환경의 데이터 유실 가능성 존재.
- Kafka를 활용한 이벤트 기반 파이프라인으로 변경하고, NoSQL DB를 도입하여 실시간 데이터 처리량 증가 및 스케일 아웃 용이성을 확보함.
- Check-In & Check-Out 개념을 도입하여 분산된 파이프라인에서 데이터 순서를 보장하고 멱등성을 확보함.