사용법과 함께 작성해본 좌충우돌 AWS DMS 사용기 - feat. RDS 통합 이야기

간단 소개

뱅크샐러드의 AWS DMS를 활용한 RDS 통합 경험 공유 및 기본적인 DMS 사용법, 문제 해결 팁을 제공합니다.

AI Summary

RDS 비용 최적화 및 DMS 도입 배경
- 뱅크샐러드는 MSA 아키텍처의 단점인 자원 비효율성을 해결하기 위해 RDS 클러스터 통합을 결정.
- 각 서비스별 RDS 클러스터 사용량이 낮아, 여러 클러스터를 통합하여 자원 효율성을 높이고자 함.
- AWS DMS를 이용하여 N:1 통합, 최소 서비스 중단, 데이터 유실 없는 이관 목표 설정.
DMS 사용 과정 및 문제 해결
- DMS 사용 시 RDS 인스턴스 부하 증가 문제 발생, 인스턴스 스펙 상향으로 해결.
- Binary log 파일 보존 기한 문제 발생, DMS 인스턴스 스펙 상향 및 Limited LOB Mode 사용으로 해결.
- 데이터 검증을 위해 트래픽 차단 후 Row Count 비교, Sampling, Unit 테스트, QA 등 다단계 검증 진행.
DMS 사용법 및 팁
- DMS 아키텍처, 네트워크 세팅, 인스턴스 생성, 엔드포인트 생성, 복제 테스크 생성 등 기본적인 사용법 소개.
- Target 엔드포인트 설정 시 initstmt=SET FOREIGN_KEY_CHECKS=0 추가하여 FOREIGN_KEY 제약 조건 무시 팁 제공.
- LOB 데이터 처리 방식 선택 및 문제 해결 방법 제시.