10초 타임아웃에서 벗어나기까지의 여정

간단 소개

무신사 체험단 API 성능 개선 사례: 쿼리 분리 및 커버링 인덱스 최적화를 통해 응답 시간을 획기적으로 단축하고 타임아웃 문제를 해결했습니다.

AI Summary

문제 상황 및 원인
- 무신사 체험단 활동 목록 조회 API 성능 문제 발생: 일부 사용자 로딩 10초 이상 소요 또는 타임아웃
- 원인: 2년 동안 1억 건 이상 축적된 데이터의 폭발적 증가와 복합적인 화면 요구사항
- 기존 쿼리의 비효율성: 함수 기반 정렬, 복잡한 조인, 과도한 데이터 전송
개선 과정 및 결과
- 1차 개선: 불필요한 인덱스 제거, 날짜 전용 컬럼 추가, 커버링 인덱스 설계 시도
- MySQL 옵티마이저 문제로 FORCE INDEX 사용했지만, SELECT 절의 문제로 성능 향상 미미
- 2차 개선: 쿼리 분리 전략 (정렬된 ID 조회 -> 기본 정보 조회 -> 당첨자 정보 조회), 애플리케이션에서 데이터 결합
- 커버링 인덱스 활용 극대화, 데이터 전송량 감소, Random I/O에서 Sequential I/O로 전환
- p99 Latency 17배 향상, 평균 응답시간 10배 향상, 10초 타임아웃 완전 해결
핵심 인사이트
- 커버링 인덱스의 조건: 쿼리에 필요한 모든 컬럼이 인덱스에 포함되어야 하며, SELECT 컬럼 최소화
- 데이터 전송량 감소의 중요성: 대용량 데이터에서는 I/O가 병목, 네트워크 I/O 최소화가 효과적
- 쿼리 분리의 장점: 복잡한 쿼리를 단순화, 각 쿼리 독립적 최적화, 디버깅 및 모니터링 용이