랭킹 시스템 개편기

간단 소개

올리브영 랭킹 시스템을 AWS Glue, Athena, Step Functions을 활용한 Serverless 환경으로 개편하여 확장성, 효율성, 데이터 신뢰도를 향상시켰다.

AI Summary

랭킹 시스템 개편 배경 및 목표
- 올리브영 랭킹 GNB는 높은 유입량과 전환율을 가지지만, 기존 시스템은 19개의 카테고리별 랭킹만 제공하여 더 세분화된 랭킹 제공 필요성이 제기됨.
- 기존 시스템의 문제점(프로시저 방식의 비효율성, 확장성 제한, 데이터 산출 근거 파악 어려움)을 해결하고, 고객에게 다양한 체험을 제공하며 데이터 신뢰도를 높이는 것을 목표로 신규 시스템 개발 결정.
신규 아키텍처 설계 및 AWS 서비스 도입
- 랭킹 집계를 위한 별도 파이프라인 구성, 스토리지와 연산 자원 분리, 확장성 고려 등의 목표를 설정하고 Serverless 환경으로 구축하기 위해 AWS Glue, Athena, Step Functions 도입.
- AWS Glue를 통해 ETL 프로세스를 간소화하고 데이터 카탈로그 구축, Athena를 통해 랭킹 산출 및 쿼리 저장, Step Functions을 통해 워크플로우를 통합하고 시각적으로 관리.
구현 결과 및 기대 효과
- Glue를 통해 RDB에서 데이터를 추출하여 Parquet 파일 형식으로 S3에 저장, Athena를 통해 다양한 기준으로 랭킹 산출 후 CSV 파일로 저장, Step Functions을 통해 Glue와 Athena 파이프라인 구성.
- 신규 아키텍처를 통해 고객에게 더 나은 경험을 제공하고 만족도 높은 시스템을 서비스할 수 있을 것으로 기대.