데브허브 | DEVHUB | Spring for Apache Kafka the advanced features by Tim van Baarsen & Kosta Chuturkov @ Spring I/O 25Spring for Apache Kafka the advanced features by Tim van Baarsen & Kosta Chuturkov @ Spring I/O 25
- ING의 Tim & Kosta가 Spring I/O 25에서 Spring for Apache Kafka의 고급 기능을 소개했습니다. 🎤
- ING는 2014년부터 Kafka를 프로덕션 환경에서 10년 이상 운영하며 초당 2백만 개 이상의 메시지를 처리하는 등 방대한 경험을 보유하고 있습니다. 🏦
- 발표는 Kafka의 기본 개념(토픽, 파티션, 레코드)을 간략히 설명하여 청중의 이해를 도왔습니다. 📚
- Spring Kafka는 상용구 코드를 줄이고 YAML 기반의 쉬운 설정을 통해 Kafka 통합을 간소화합니다. ⚙️
- 컨슈머 그룹은 Kafka에서 병렬 처리, 동시성, 자동 리밸런싱 및 오프셋 추적의 핵심 단위입니다. 👥
- Spring Kafka의 고급 기능으로 단일 애플리케이션 내에서 여러 직렬화 형식(예: Avro, JSON)을 처리하는 수직 스케일링이 가능합니다. ⬆️
- 특히, 코드를 변경하지 않고 외부 설정을 통해 런타임 컴포넌트(컨슈머)를 동적으로 생성하고 관리하는 기능이 강조되었습니다. 🚀
- 데모에서는 Docker Compose로 Kafka 환경을 구축하고, 여러 토픽에 데이터를 생산하며, 속성 오버라이드 및 커스텀 런타임 컨슈머 팩토리를 사용하여 Avro 및 JSON 형식의 컨슈머를 동적으로 구성하는 과정을 시연했습니다. 💻
- 향후 다룰 주제로 블로킹/논블로킹 재시도 및 옵저버빌리티(메트릭, 트레이스, 로그)가 언급되었습니다. 🔮