토스증권의 수 천개 실시간 데이터 파이프라인 운영방법 #2: MSA 환경 Observability 높이기

간단 소개

토스증권은 MSA 환경에서 Kafka Client와 Broker 연결 관계를 파악하기 위해 METADATA API request log와 ClickHouse를 활용하여 Observability를 높였습니다.

AI Summary

MSA 환경 Observability의 중요성
- 토스증권은 10,000개의 서비스 Pod가 1,000개의 Topic을 사용하는 MSA 환경에서 Kafka Client와 Broker 간 연결 관계 파악의 중요성을 강조합니다.
- 서비스 서버와 Kafka Broker 간 연결 관계는 시스템 가시성을 높이고 데이터 파이프라인 관점에서 Lineage에 포함시키는 것이 중요합니다.
요구 조건 및 해결 방법
- 원천 서비스 소스코드 수정 없이, 실시간으로 연결 현황을 반영하며, 100% 커버리지를 보장하는 연결 관계 파악이 필요했습니다.
- Kafka Broker의 METADATA API request log를 100% 활용하고, 부족한 정보는 Consumer Group Lag metric과 join하여 해결했습니다.
ClickHouse를 활용한 시스템 구축
- ClickHouse를 통해 대량의 request log를 효율적으로 처리하고, METADATA request log, Lag Metric, conntrack 정보를 join하여 서비스 연결 정보를 확보했습니다.
- Materialized View를 활용하여 실시간으로 데이터가 갱신되는 테이블을 생성하고, Lineage 시각화 및 Grafana 연동을 통해 시스템 가시성을 향상시켰습니다.