Kafka에서 S3로 실시간 데이터 수집 파이프라인 설계와 구축기

간단 소개

펫프렌즈가 MariaDB Trigger 한계를 극복하고 실시간 이벤트 데이터 수집을 위해 Kafka-S3 파이프라인을 직접 구축한 과정과 설계, 운영 노하우를 공유합니다.

AI Summary

실시간 데이터 수집 도입 배경 및 아키텍처 선택

기존 MariaDB Trigger 기반 로그 테이블의 스키마 변경 및 확장성 한계로 CDC 기반 Kafka 전환.
광고/사용자 행동 이벤트의 장기 보관 및 분석을 위해 S3 + Athena 레이크하우스 선택.
S3 Sink Connector의 Parquet 포맷 제약 및 세부 로직 반영 어려움으로 Kafka Consumer 직접 개발 결정. Kafka Consumer 핵심 설계 및 안정성 확보
메시지 누락 방지를 위한 At-least-once 전략 및 수동 오프셋 커밋 구현.
Flush 조건 (시간/버퍼 크기) 및 종료/리밸런스 시 버퍼 Flush 처리로 데이터 유실 방지.
실패 처리: 레코드 단위 오류는 skipped_offsets 기록, 배치 단위 오류는 재시도 후 프로세스 종료.
모니터링: 상세 로그, 오프셋 메타데이터 (Airflow DAG), 인프라 리소스 모니터링으로 안정적 운영. 운영 성과 및 향후 계획
DB 운영 부담 감소, 로그 데이터 레이크 통합, 새로운 이벤트 수집 채널 확보.
향후 CDC 로그 수집 확장 및 Apache Iceberg 도입으로 S3 기반 트랜잭션 및 스키마 진화 기능 강화 검토.