Kafka와 ETL을 활용해 대용량 데이터 마이그레이션하기

간단 소개

Kafka와 ETL을 활용하여 MySQL에서 MongoDB로 대용량 데이터베이스를 성공적으로 마이그레이션한 경험 공유.

AI Summary

마이그레이션 배경 및 목표
- 10억 개 이상 상품, 26억 개 이상 이미지 관리로 인한 MySQL 디스크 공간 부족 및 스키마 변경 어려움 발생
- MongoDB의 샤딩을 통한 확장성, 스키마리스 특성을 활용하여 안정적인 DB 구축 목표
마이그레이션 전략 및 과정
- ETL 데이터와 **CDC(Change Data Capture)**를 활용한 MySQL과 MongoDB 간 데이터 동기화
- hive-to-kafka 모듈을 이용해 ETL 데이터를 Kafka 메시지로 발행, 메시지 압축을 통해 Kafka 브로커 부담 감소 (lz4 압축 방식, linger.ms 3000, batch.size 16384 설정)
- MongoDB 샤딩 시 범위 기반 샤딩과 해시 샤딩 고려, rand() 함수를 이용해 삽입되는 문서 키를 무작위로 생성하여 청크 부하 분산
- 초기 청크 사전 생성, 쓰기 고려(Write Concern) 설정 (W2) 및 TransactionManager 설정
마이그레이션 결과 및 고려 사항
- MySQL 디스크 공간 확보 (2.17TB), 스키마 변경 용이성 확보, 이미지 개선 작업 진행
- 마이그레이션 후 롤백 가능하도록 MongoDB CDC를 이용한 MySQL 동기화 파이프라인 구축
- 데이터 크기가 작다면 Kafka Connect를 활용한 간소화된 마이그레이션 프로세스 구축 가능