Kafka Lag 없는 실시간 데이터 파이프라인을 위한 아키텍처 개선기 - AB180 엔지니어링 베이스 | 기술블로그

간단 소개

Airbridge의 Kafka 데이터 파이프라인 아키텍처 개선 사례: consumer와 application server 분리를 통해 확장성 및 효율성을 향상시키고, 문제점을 해결했습니다.

AI Summary

기존 아키텍처 문제점: Airbridge 서비스의 데이터 처리 과정에서 consumer의 partition 불균형 및 데이터 skewing으로 인한 system resource 사용량 편차 심화, ECS 환경의 scale up 한계 발생.
새로운 아키텍처 (Kafka consumer와 application server 분리): 기존 consumer application의 비즈니스 로직을 application server로 분리하고, consumer와 application server는 gRPC interface로 통신. Service Discovery를 활용하여 네트워크 비용을 최소화하고, 데이터 처리 순서 보장 및 무중단 운영을 고려.
새 아키텍처 적용 결과 및 추가 개선: Kafka producer의 batch produce 효율성 향상, 전체 Kafka cluster 부하 감소, consumer의 skew 방지, application server의 유연한 scaling 가능. 향후 zone awareness를 통한 네트워크 비용 절감 시도.