컬리의 입고 시스템이 외부 인입 데이터를 안전하게 동기화하는 방법

컬리는 3PL 사업 확장으로 외부 입고 데이터 동기화의 안전성 확보가 중요해졌다. 이를 위해 아웃박스 패턴과 재시도 토픽을 도입하여 시스템의 자가 치유 능력과 안정성을 높였다.

• 아웃박스 패턴 (발행부 안정화)

  • DB 쓰기와 Kafka 메시지 발행의 원자성을 Namastack Outbox 라이브러리로 보장한다.
  • 메시지를 outbox_record 테이블에 저장 후, 폴러가 Kafka로 발행하며 실패 시 재시도 및 완료 마킹을 자동 처리한다.
  • 이를 통해 인터페이스 DB와 Kafka 메시지 간 불일치 문제를 해결하고 운영 부담을 줄였다.

• 재시도 토픽 (수신부 안정화)

  • 컨슈머 처리 중 일시적 실패로 인한 블로킹을 방지한다.
  • Spring Kafka의 @RetryableTopic을 활용, 실패 메시지를 전용 재시도 토픽으로 보내 지연 후 재처리한다.
  • 10분 간격으로 최대 24시간 재시도하며, 최종 실패 시 DLT로 이동한다.
  • SINGLE_TOPIC 전략 및 별도 Kafka Template으로 효율성을 높여 핵심 비즈니스 로직에 집중할 수 있게 되었다.