적정 엔지니어링으로 검색 속도 10x 빠르게 만들기

간단 소개

에어브릿지의 트래킹링크 검색 성능을 개선하기 위해 검색용 테이블을 생성하고 MySQL Trigger를 사용하여 10배 빠른 검색 속도를 달성했습니다.

AI Summary

문제 상황 및 목표
- 에어브릿지 트래킹링크 검색 기능의 성능 저하, 분 단위 검색 소요 시간 발생
- Elasticsearch 도입 고려했으나, AuroraDB와의 실시간 동기화 어려움 및 운용 비용 문제로 보류
- 기존 DB에 검색용 테이블 생성하여 검색 성능 개선 목표 설정
문제 해결 전략
- 역직렬화 테이블 방식은 생성 성능 저하 문제로 제외
- 검색 테이블 단순화: 검색 및 조회에 필요한 모든 필드를 컬럼으로 포함, Join 최소화, 정규식 대신 LIKE 사용
- 모든 컬럼에 인덱스 적용, varchar 타입 컬럼 길이 제한 (50자)
- MySQL Trigger를 사용하여 데이터 적재, 생성 로직 영향 최소화, 하나의 트랜잭션으로 관리, Airflow로 데이터 누락 방지
성과 및 결론
- 검색 속도 10배 향상 (3분 -> 2초), 슬로우 쿼리 감소, 트래킹링크 다운로드 기능 성능 향상
- 적절한 엔지니어링 방법 고민 및 선택 과정에서 RDB 동작 방식에 대한 이해도 향상
- 서비스 규모 확장에 따른 추가적인 문제 해결 필요성 인지