Apache Flink 어플리케이션의 End-to-End Latency 병목 찾아내기

간단 소개

Flink 어플리케이션의 end-to-end latency 병목을 진단하고 개선하는 과정을 소개하며, Application 및 Operator 레벨 분석 방법을 제시합니다.

AI Summary

Flink 어플리케이션 End-to-End Latency 개선
- Flink 어플리케이션의 성능 튜닝은 지속적으로 필요하며, 특히 Azar 서비스는 end-to-end latency가 중요합니다.
- 개선 과정은 Application level과 Operator level 두 단계로 나뉩니다.
Application Level: Operator 단위 지표 수집 및 관찰
- 각 operator별 처리 시간과 처리 외 시간을 측정하여 병목 구간을 파악합니다.
- 처리 시간은 어플리케이션 코드 실행 시간, 처리 외 시간은 데이터 de/serialize, 네트워크 I/O 시간 등을 포함합니다.
- Flink 자체 LatencyMarker 기능은 성능 저하가 크고 정확도가 떨어지는 한계가 있습니다.
Operator Level: Flame Graph를 통한 프로파일링
- Flame graph를 활용하여 operator 내부의 병목 지점을 분석합니다.
- 처리 시간이 병목인 경우 어플리케이션 로직을 점검하고, 처리 외 시간이 병목인 경우 네트워크 I/O 또는 Flink 내부 코드를 확인합니다.
- 네트워크 I/O 병목 시 TaskManager 네트워크 설정 튜닝, 네트워크 인프라 점검 등을 시도할 수 있습니다.
- Flink 내부 코드 병목 시 Kryo serializer 대신 POJO serializer를 사용하는 것을 고려할 수 있습니다.