동일한 비용으로 리포트 요청 10배 처리하기

간단 소개

Airbridge의 Report 처리 비용을 절감하기 위해 Queue 분리, Redis 도입 등 최적화를 통해 성능 향상과 비용 절감을 달성한 사례.

AI Summary

문제 인식 및 배경
- Airbridge의 Actuals Report API 사용량 급증으로 인한 Worker 증설 및 비용 증가 발생
- Overview Dashboard 출시 후 Report API 호출 수 증가가 주요 원인
개선 과정 및 결과
- 데이터 처리 과정 분석 결과, IO Bound가 병목 지점임을 확인하고 동시성을 높이는 방향으로 개선
- Requester, Processor, Uploader Queue로 분리하여 각 단계별 최적화 진행
- Redis를 중간 저장소로 활용하여 Read/Write 성능 향상
- Worker 수를 줄이고 비용을 절감했으며, Report 요청 처리 속도 향상
결론 및 향후 과제
- 비용 절감과 성능 향상을 동시에 달성했으며, 추가적인 개선 여지가 남아있음
- Queue 분리 후 Latency 증가를 Report Get API 개선으로 상쇄