MySQL Orchestrator 기반의 새로운 HA 표준 개발기

MHA의 한계 및 차세대 HA 솔루션 필요성

• 카카오는 2015년부터 MySQL 고가용성(HA) 확보를 위해 MHA를 사용했으나, 10년 이상 패치 및 기능 추가 부재, Perl 언어 기반 유지보수 어려움, 네트워크 장애 대응 미흡, Replica 서버 모니터링 한계 등으로 새로운 솔루션이 필요해졌다.
• MHA는 Source 서버만 확인 가능한 구조적 한계와 네트워크 안정성 전제 조건으로 인해 다양한 장애 상황에 오동작 문제가 발생했다. Orchestrator 선정 및 특징
• 2023년 R&D를 통해 MySQL Replication Topology 관리 및 자동 페일오버에 특화된 Orchestrator를 차세대 HA 솔루션으로 선정했다.
• Orchestrator는 클러스터 구성을 통한 자체 고가용성 확보가 가능하며, Raft 알고리즘 기반의 **HA 구성(Raft HA)**을 통해 안전성과 데이터 일관성을 보장한다.
• Shlomi Noach가 개발한 이 솔루션은 복잡한 Replication 구조를 지능적으로 이해하고 healing하는 데 중점을 둔다. 카카오 환경 맞춤형 Orchestrator 개발 및 운영
• 카카오는 DBaaS 환경에 맞춰 Protego 시스템 연동, Orchestrator 내부 로직 수정 및 추가 개발을 진행했다.
• DNS Failover 기능을 개발하여 Replica 서버 모니터링 및 서비스 투입 요구사항을 충족시켰고, 배포/빌드 자동화를 통해 운영 효율성을 높였다.
• slave_net_timeout 시스템 변수 조정을 통해 네트워크 장애 시 Failover 시간을 5~10초로 단축하는 등 운영 방식을 최적화했다.
• 현재 MHA와 Orchestrator를 병행 사용 중이며, 3년 내 모든 시스템을 Orchestrator로 통합하여 업무 생산성 향상 및 HA 고도화를 목표로 한다.