OpenTelemetry와 Kafka를 활용한 안정적인 Observability 구축기

OpenTelemetry 도입 및 표준화

• MSA 복잡성 증가로 Observability 필요, OpenTelemetry는 Traces, Metrics, Logs 데이터 수집/전송 표준으로 Vendor Lock-in 방지.
• OTLP 기반 표준화된 데이터 형식 및 전송 방식으로 유연한 시스템 대응 가능. OpenTelemetry 핵심 요소 및 Collector
• Traces로 분산 요청 시각화, Metrics로 시스템 상태 정량화, Logs로 구조화된 로그 맥락 파악.
• OpenTelemetry Collector는 데이터 수신, 처리, 내보내기 핵심 컴포넌트로, Receivers, Processors, Exporters로 유연한 파이프라인 구축. 여기어때 Observability 아키텍처
• OpenTelemetry SDK 자동 계측 및 Operator로 데이터 수집 자동화, Gateway Collector로 정책 중앙화 및 앱 부담 감소.
• Kafka로 데이터 유실 방지, 트래픽 급증 대응, 시스템 디커플링 구현. Signal Collector 분리 및 KEDA 연동으로 최적화, 확장, 장애 격리, 오토스케일링 달성.