매드업의 DMP - 프리즘(prism)을 소개합니다

간단 소개

매드업의 DMP 프리즘(Prism) 구축 과정과 V1의 한계 극복을 위한 V2 개선, 그리고 향후 발전 방향을 소개합니다.

AI Summary

프리즘(Prism) 소개 및 아키텍처
- 매드업의 **DMP(Data Management Platform)**인 프리즘은 광고 데이터 수집, 가공, 적재, 공급 파이프라인을 통합 관리한다.
- Python 기반 수집기는 광고 매체 데이터를 AWS S3에 적재하고, ELT 과정을 거쳐 Redshift에 저장한다. Apache Airflow를 사용해 데이터 흐름을 관리한다.
프리즘 V1의 한계와 V2의 개선
- V1은 동기 방식 코드, Redis Stream의 허들, ECS의 리소스 제약, EC2 기반 Airflow 운영, DL/DW 구분 모호성 등의 한계가 있었다.
- V2에서는 비동기 방식 코드, AWS SQS/MSK 도입, EKS 전환, MWAA 환경으로의 Airflow 이전, Redshift RA3 노드 변경 등을 통해 성능과 안정성을 개선했다.
향후 과제 및 마무리
- 프리즘을 세계 최고의 광고 데이터 수집기로 발전시키고, 매체 스터디를 통해 도메인 이해도를 높이며, API 버전업에 유연하게 대응할 계획이다.
- 데이터 분석 플랫폼 구축, 비동기 코드 튜닝, 소재 이미지 처리 방식 개선 등을 통해 지속적인 발전을 추구한다.