Redshift DW에서 PG DM을 만드는 여정

간단 소개

Redshift DW의 성능 문제 해결을 위해 PostgreSQL DM을 구축하고, DBLINK, 프로시저 자동 생성, Vacuum 설정 등을 통해 효율적인 데이터 관리 시스템을 구축한 여정.

AI Summary

Redshift DW에서 PG DM 구축 배경
- Athena의 비용 및 속도 문제로 Redshift를 도입했으나, Hash Join으로 인한 CPU 과부하 발생.
- 데이터 마트(DM) 구축을 통해 성능 개선 및 데이터 접근성 향상 필요.
요구사항 및 해결 과정
- 월별 파티셔닝, 레버 광고주 데이터만 적재, Redshift 데이터 동기화, 복합 인덱스 조인, Rest API 송출, 즉시 수집 기능 등을 요구사항으로 정의.
- DBLINK를 이용한 데이터 동기화 방식으로 결정. Stored Procedure를 통해 Redshift 데이터를 PostgreSQL DM으로 적재.
- 프로시저 자동 생성기 개발하여 유지보수 효율성 증대.
문제 해결 및 결과
- 스케줄러 락 문제 해결을 위해 섹션별 고유 실행 방식 적용.
- PostgreSQL Vacuum 문제 해결을 위해 Dead Tuple 임계값 조정 및 모니터링.
- 쿼리 시간 단축 및 데이터 프리컴퓨테이션 가능.
- Athena 대비 성능 향상 및 매체 확장 용이.