아자르 Data Lifecycle Policy 개발하기

간단 소개

아자르의 데이터 라이프사이클 정책(DLP) 개발 과정을 설명하고, 이벤트 기반 아키텍처와 무손실 이벤트 처리 전략을 제시합니다.

AI Summary

아자르 Data Lifecycle Policy (DLP) 개발 배경 및 요구사항
- 글로벌 서비스 아자르에서 유저 프라이버시를 위해 탈퇴 유저 또는 장기 미접속 유저의 데이터를 삭제하는 DLP 필요.
- 기능 요구사항: 데이터 보관 기간 설정, 개인 정보 삭제, 멱등성 보장, 다양한 데이터 종류 및 팀 지원.
- 비기능 요구사항: 마이크로 서비스 아키텍처, 테이블 변경에 대한 유연한 대응.
시스템 구조 및 이벤트 기반 아키텍처
- 이벤트 기반 아키텍처를 채택하여 예약부와 처리부로 분리, 카프카를 이용한 비동기 처리.
- 예약부는 유저 개인 정보 삭제 스케줄을 예약하고, 처리부는 예약된 스케줄에 따라 데이터 삭제를 진행.
- Privacy Type을 도입하여 데이터 성격에 따라 보관 기간을 설정하고 관리.
데이터 삭제 및 무손실 이벤트 처리
- 각 마이크로 서비스는 Privacy Type에 따라 데이터를 삭제하며, 필요에 따라 필드별 삭제 또는 소프트 딜리트를 구현.
- 트랜잭셔널 아웃박스 패턴과 카프카 Producer의 ack level 설정을 통해 무손실 이벤트 발행을 보장.
- 컨슈머는 수동 커밋과 재시도 전략을 통해 무손실 이벤트 처리를 구현.
- 백필(Backfill)을 위해 Databricks를 활용하여 대규모 데이터에 대한 DLP 적용 및 검증을 수행.