쿠키런: 킹덤 길드 업데이트 이후 서비스 이슈 되돌아보기

간단 소개

쿠키런 킹덤 길드 업데이트 후 발생한 DB 이슈와 대응 과정을 분석하고, CockroachDB 운영 시 주의점을 제시합니다.

AI Summary

길드 업데이트와 Hot Range 문제
- 2021년 3월 길드 업데이트 후 Hot Range 발생, 특정 노드 과부하 초래
- 원인: 인덱스 prefix 구조 변경 미인지, 신규 테이블 split 부재, DB 노드 추가로 인한 부하 분산 지연
긴급 대응 과정
- '점검 아닌 점검'으로 신규 유저 접속 제한, DB 부하 조절 시도
- 클러스터 불안정 심화로 전체 점검, 테이블 단위 백업 진행
- 문제 테이블 분할 후 서비스 재개, 문제 노드 제거
교훈 및 마무리
- CockroachDB 분산 처리 특성상 Primary Key Prefix 변경에 신중해야 함을 체득
- 대규모 트래픽 처리 경험, 고객 경험 위한 지속적인 노력 강조