데
데브시스터즈
December 22, 20221회
쿠키런: 킹덤 데이터베이스 스토리지 레이어 복원기
간단 소개
쿠키런: 킹덤 런칭 후 발생한 데이터베이스 장애 복구 과정과 회고를 담고 있으며, 데이터 완전 복구를 위한 다각적인 노력과 교훈을 제시합니다.
AI Summary
- 장애 발생 원인 및 대응
- 런칭 직후 사용자 급증으로 인한 스토리지 부족 발생
- Ballast 파일 생성 중 스크립트 오류로 파티션 덮어쓰기 및 노드 장애 발생
- AWS와 CockroachDB 기술 지원 요청, 백업 데이터 복원 권고받았으나 데이터 완전 복구를 목표로 설정
- 데이터 복구 전략 및 과정
- Plan A: 운영체제 레벨에서 노드 복원 시도 실패
- Plan B: CockroachDB 스토리지 레이어 분석 및 SST 파일 추출 성공, Spark 기반 데이터 변환 및 복구
- Plan C: 최신 백업 데이터와 분석 로그 기반 사용자 최종 상태 복원 (Plan B를 보조)
- 데이터 정합성 검증 및 유저 테이블 재구성
- 서비스 복구 및 회고
- 36시간 만에 서비스 재개, DevPlay 플랫폼 과부하 및 DB 부하로 인한 2차 긴급 점검 발생
- 인스턴스 타입 변경 및 데이터베이스 클러스터 재구성을 통해 최종 복구
- 인프라 작업 프로세스 개선, 장애 대응 원칙 준수, 팀 협업 및 꺾이지 않는 마음이 복구 성공 요인
Next Feeds
퍼포먼스 마케팅 수학능력시험
올리브영 커머스마케팅팀의 퍼포먼스 마케팅 수능을 소개하고, 데이터 분석 도구 활용 및 문제 해결 능력을 강조합니다.
퍼포먼스 마케팅올리브영Google AnalyticsAppsflyer데이터 분석
2022. 12. 16.
올리브영
올리브영 전시영역 MongoDB 도입하기
올리브영은 전시 영역에 MongoDB를 도입하여 데이터 관리 효율성을 높이고, 버저닝 전략을 통해 안정적인 서비스 운영을 가능하게 했습니다.
MongoDBNoSQLSchema-less버저닝전시영역
2022. 12. 16.
올리브영
올리브영 앱 - 아키텍처 도입 1탄
올리브영 앱의 클린 아키텍처 도입 배경, 핵심 내용, 그리고 모바일 환경에 맞춘 적용 사례를 소개합니다.
클린 아키텍처유지보수관심사 분리도메인 레이어모바일 앱
2022. 12. 15.
올리브영
카카오페이 if(kakao) 발표 준비 과정 엿보기
카카오페이의 if(kakao) 2022 컨퍼런스 준비 과정과 발표 내용을 소개하고, 개발 문화와 채용 관련 세션도 간략히 다룬다.
if(kakao)카카오페이개발자 컨퍼런스발표 준비기술 문화
2022. 12. 15.
카카오페이
Datadog Dash 2022 컨퍼런스 방문기
컬리 엔지니어가 Datadog Dash 2022 컨퍼런스 참여 후 신규 기능 소개, 본사 방문 경험, 오프라인 컨퍼런스의 장점을 공유합니다.
Datadog컨퍼런스모니터링Observability클라우드
2022. 12. 14.
컬리
Android Kotlin StateFlow 도입기
Android 앱 개발에 StateFlow를 도입한 경험 공유. LiveData의 한계를 극복하고 클린 아키텍처를 적용하며 얻은 이점과 사용법을 설명.
StateFlowLiveDataKotlin Flow클린 아키텍처Android
2022. 12. 14.
올리브영