HBase 복제를 이용해 마이그레이션하기

간단 소개

HBase 복제를 이용한 마이그레이션 과정과 HA 프로젝트 배경, 주요 구성 요소, 토폴로지, 문제 해결 방법을 공유합니다.

AI Summary

HA 프로젝트 배경 및 HBase 특징
- Anzen 서비스의 고가용성(HA) 확보 및 소프트웨어 라이선스 비용 절감을 위해 HA 프로젝트를 시작했습니다.
- HBase는 대용량 데이터 처리에 적합한 분산형 NoSQL 데이터베이스이며, 수평적 확장성이 뛰어납니다.
HBase 복제 구성 요소 및 토폴로지
- WAL(Write-Ahead Log), WALEdit, MemStore는 HBase 복제와 관련된 주요 구성 요소입니다.
- Master-Slave, Master-Master, Cyclic 방식의 복제 토폴로지가 있으며, 필요에 따라 혼합하여 구성할 수 있습니다.
HBase 복제 준비 및 문제 해결
- 테이블 크기 체크, 타깃 서버 준비, 역방향 DNS 설정, Kerberos 설정 등 복제 전 준비 작업이 필요합니다.
- Export Snapshot 작업 시 디스크 용량 부족 및 작업 실패에 주의해야 하며, VerifyReplication 사용 시 성능 저하 및 병목 현상을 고려해야 합니다.