[if kakao 2022] Batch Performance를 고려한 최선의 Aggregation

간단 소개

기존 통계 배치의 GroupBy+SUM 쿼리 의존성 문제를 Redis를 활용한 새로운 아키텍처로 개선하여 성능을 향상시킨 사례를 소개합니다.

AI Summary

기존 통계 배치의 문제점
- 기존 방식은 GroupBy+SUM 쿼리에 의존하여 DB 부하를 증가시키고, 쿼리 튜닝이 어렵다.
- 데이터 증가에 따라 카디널리티 변화로 실행 계획이 변경될 수 있으며, 인덱스 추가는 성능 저하 및 저장 용량 증가를 초래한다.
새로운 아키텍처: Redis 활용
- Redis를 중간 저장 공간으로 활용하여 직접 Aggregation하는 방식으로 변경한다.
- hincrby, hincrbyfloat와 같은 O(1) 연산 명령어를 통해 빠른 누적 연산을 수행하고, 충분한 메모리 공간을 확보한다.
- Redis Pipeline을 사용하여 네트워크 I/O를 줄여 Redis 호출 횟수를 최소화한다.
결론 및 효과
- 새로운 아키텍처는 DB 의존도를 낮추고 성능을 개선한다.
- 복잡한 쿼리, 인덱스 추가 어려움, 많은 데이터 등의 상황에서 효과적이다.
- 단순한 GroupBy 쿼리는 RDBMS에 위임하는 것이 더 효율적일 수 있다.