다나와 웹 트래픽 로그 데이터 분석 시스템 도입기

간단 소개

다나와 웹 트래픽 로그 분석 시스템 도입 과정과 주요 기술 선택, 데이터 처리 및 검증 과정을 공유합니다.

AI Summary

웹 트래픽 로그 분석 시스템 도입 배경
- 다나와는 웹 트래픽 로그 데이터 분석을 위해 새로운 내부 서비스 구축
- 구축 과정에서의 고민과 결정 사항 공유
시스템 구축 과정
- 정책 및 필요조건 정의: 사용자 여정 분석, 세션 단위 분석, 빠른 결과 도출 등의 요구사항 수렴
- 유비쿼터스 언어 사전 구축: 개발자와 도메인 전문가 간의 원활한 소통을 위해 용어 정의
- 아키텍처 및 기술 검토: Hadoop, Elasticsearch, AWS Athena, Opensearch 등 검토 후 AWS Opensearch 선택 (빠른 집계, 검색, 클라우드 관리 용이성)
- 데이터 포맷 선정: Elasticsearch와 유사한 Opensearch 기반으로 데이터 포맷 설계
- 데이터 필터링 및 색인: 어뷰저 및 봇 제거를 위한 필터링 조건 적용 후 배치 작업으로 색인
- 데이터 검증: 인사이트, GA4 등과 데이터 비교 검증 (데이터 증감 추세, 갯수 비교)
- 데이터 분석 API 및 쿼리: 분석 내용 쿼리화 후 API 제공, 관리자 대시보드 연계
향후 과제
- 엣지 케이스 처리 및 Opensearch 외 다른 서비스로 이전 시의 대안 모색