[if kakao 2022] Batch Performance를 고려한 최선의 Reader

간단 소개

카카오페이의 대량 데이터 처리를 위한 최적의 ItemReader 구현 경험 공유: ZeroOffsetItemReader와 ExposedCursorItemReader를 소개하고 성능을 비교 분석합니다.

AI Summary

배치 성능과 Reader의 중요성
- 배치 처리 성능은 ItemReader에 의해 크게 좌우되며, 평균적으로 80% 이상을 결정한다.
- 대량 데이터에서 필요한 데이터만 효율적으로 골라내는 것이 핵심이다.
- Chunk Processing은 대량 데이터 처리를 위한 필수적인 방식이며, Pagination과 Cursor를 통해 구현할 수 있다.
기존 ItemReader의 한계와 개선
- MySQL Limit Offset 방식은 페이지가 깊어질수록 성능 저하가 발생한다.
- ZeroOffsetItemReader는 Offset을 0으로 유지하여 성능 저하를 방지하고, QueryDsl을 통해 쿼리 구현을 개선했다.
- JpaCursorItemReader는 OOM을 유발할 수 있어 사용에 주의해야 한다.
새로운 CursorItemReader의 개발 및 성능 비교
- ExposedCursorItemReader는 Exposed DSL을 사용하여 쿼리 구현의 직관성을 높이고 실수를 줄인다.
- ZeroOffsetItemReader와 ExposedCursorItemReader는 JpaPagingItemReader보다 빠르고 안정적인 성능을 보인다.
- 대량 데이터 처리 시 ZeroOffsetItemReader와 ExposedCursorItemReader가 적합하다.