고객은 절대 기다려주지 않는다: 빠른 데이터 서빙으로 고객 만족도를 수직 상승 시키는 법

토스페이먼츠의 데이터 서빙 진화

• 초기 모놀리식 구조에서 MSA 전환 후 데이터 폭증에 따른 안정적이고 빠른 서빙 문제 직면.
• Elasticsearch로 검색 니즈 해결, CQRS 아키텍처와 Apache Druid 도입으로 실시간 집계 및 수평 확장성 확보.
• Druid는 시계열 데이터 최적화, 자동 인덱싱, 비용 효율성 장점. Druid의 한계와 StarRocks 도입
• Druid는 과거 데이터 재적재, 멱등성 처리, 데이터 파편화, 복잡한 운영 등 한계 노출.
• 복잡한 도메인 간 데이터 결합 및 조인 성능 요구 증대.
• StarRocks 도입으로 멱등성 처리, 압도적인 조인 성능, 단순한 아키텍처, 분석 시스템과의 통일성 확보. StarRocks 최적화 및 현재 아키텍처
• Colocation Group으로 조인 시 네트워크 이동 최소화, Prefix Index로 데이터 스캔 범위 극소화하여 성능 극대화.
• 현재 CDC/메시지 발행, Kafka/Flink, StarRocks, Elasticsearch를 결합한 하이브리드 아키텍처로 고객 만족도 향상.
• 핵심 원칙: '적게 읽도록 설계'하여 빠르고 효율적이며 정확한 데이터 서빙 구현.