마이데이터 플랫폼의 대용량 데이터 처리 개선! 구경 한번 해볼래?

간단 소개

카카오페이 마이데이터 플랫폼의 대용량 데이터 처리 개선 사례를 통해 QPS, 용량, 통계 문제 해결 과정을 제시합니다.

AI Summary

기존 시스템 문제점
- 높은 QPS로 인한 Master/Slave 데이터소스 복제 지연 발생
- 데이터 보관 용량 부족으로 인한 장기 데이터 보관의 어려움
- 통계 배치 수행 시간 증가로 인한 업무 지연 및 DB 부하 증가
개선 방안
- 데이터 분산 저장: 데이터 유형별 분리 및 모듈러 샤딩 적용
- 파일 백업: 오픈소스 로그스태시를 이용, 파일 스토리지에 백업 및 고가용성 확보
- Palsonic 활용: 하둡 기반 내부 시스템을 이용, 분산된 데이터에 대한 통계 계산 수행
결론 및 효과
- 데이터 분산 저장, 파일 백업, Palsonic 활용을 통해 기존 시스템의 문제점을 해결하고 성능 향상
- 법적 요구사항 준수 및 안정적인 마이데이터 플랫폼 운영 가능