Zookeeper에 의존하지 않는 Kafka를 준비하기 : Amazon MSK에서 KRaft 모드 사용하기

이 글은 Amazon MSK에서 KRaft 모드를 사용하여 Zookeeper 없이 Kafka를 운영하는 방법을 설명합니다. 기존 Zookeeper 아키텍처의 한계를 극복하기 위해 등장한 KRaft 모드의 배경과 구성 요소, 동작 방식을 상세히 알아보고, Amazon MSK에서의 KRaft 모드 지원 및 마이그레이션 전략을 제시합니다. 또한, KRaft 모드와 Zookeeper 모드 간의 성능 차이를 벤치마크 테스트를 통해 비교 분석하고, KRaft 모드 클러스터의 모니터링 방법에 대해 설명합니다.

• KRaft 모드의 등장 배경
  • Zookeeper 방식의 한계: 메타데이터 관리 병목 현상, 복잡성, 의존성 문제
  • KIP-500을 통한 Kafka 자체적인 메타데이터 관리 필요성 대두
• KRaft 모드 이해 및 Amazon MSK 지원
  • KRaft 모드의 구성 요소: Leader Controller, Voter Controller, Observer
  • Amazon MSK는 Kafka 3.7부터 KRaft 모드 지원, 4.0부터는 KRaft 모드만 지원
• KRaft 모드로의 마이그레이션 및 모니터링
  • Amazon MSK Replicator, MirrorMaker 2.0을 이용한 마이그레이션 전략
  • Prometheus를 활용한 오픈 소스 기반 모니터링