데
데브시스터즈
January 17, 20231회
CTO가 커리어를 걸고 비트 레벨까지 내려가서 DB를 해킹했던 이야기
간단 소개
CTO가 비트 레벨까지 파고들어 DB를 해킹, 36시간 만에 서비스 장애를 극복한 데브시스터즈의 기술 이야기.
AI Summary
- 장애 발생과 CockroachDB의 한계
- 쿠키런: 킹덤 런칭 직후 DB 스토리지 부족 문제 발생.
- 설정 오류로 CockroachDB 노드 절반 이상 다운, 서비스 전체 장애 발생.
- CockroachDB 업체로부터 복구 불가 판정, 백업 복구 권고 받음.
- CTO의 데이터베이스 해킹 시도
- Event Sourcing 기반 아키텍처로 DB 원시 데이터 복구 가능성 판단.
- Pebble 스토리지 엔진의 sst 파일 분석 시작, 데이터 구조 파악.
- crdb2csv 툴 개발, PySpark를 이용한 분산 처리 시스템 구축.
- 장애 극복 및 교훈
- AWS 클라우드 자원 활용, 7TB 데이터 CSV 변환 및 검증.
- 새로운 CockroachDB 클러스터에 데이터 적재 후 서비스 재개.
- 해커 문화, 팀워크, 지식 공유, 빠른 의사 결정 등이 장애 극복의 원동력.
Next Feeds
Service Discovery DR 구성 3부 - eurekube-operator의 Zone Failover를 위한 Spring Cloud LoadBalancer 탐구
eurekube-operator의 Zone Failover 구현을 위해 Spring Cloud LoadBalancer를 활용하고 Chaos Test로 검증하는 과정을 설명합니다.
Spring CloudLoadBalancereurekube-operatorZone FailoverService Discovery
2023. 1. 15.
11번가
Now is a good time to multiply your Design team capacity
효율적인 디자인 팀 구성 및 관리를 통해 팀 역량을 강화하고 개인의 성장을 도모하는 전략을 제시합니다.
디자인팀역량강화리더십온보딩디자인 시스템
2023. 1. 12.
버즈빌
적정기술 딜레마
프로그래밍에서 적정기술은 서비스 요구사항, 개발 환경, 조직 적합성을 고려하여 기술을 선택하는 것을 의미하며, 리더는 개발 역량과 회사 이익 사이의 균형을 맞춰야 한다.
적정기술기술 선택서비스 요구사항개발 환경조직 적합성
2023. 1. 12.
카카오엔터테인먼트FE
적정기술 딜레마
프로그래밍에서 적정기술의 중요성과 딜레마를 분석하고, 기술 선택 시 고려사항 및 리더의 역할을 강조합니다.
적정기술프로그래밍기술 선택개발자딜레마
2023. 1. 12.
카카오엔터테인먼트FE
9가지 프로그래밍 언어로 배우는 개념: 4편 - 하이 레벨 언어와 동적 타입 언어
하이 레벨/동적 타입 언어의 특징과 장단점을 분석하고, 타입 호환성, 다형성, 리플렉션 등의 개념을 다양한 언어 예시와 함께 설명합니다.
하이 레벨 언어동적 타입 언어레퍼런스 타입덕 타이핑리플렉션
2023. 1. 12.
데브시스터즈
AWS MLOps 분산학습 워크숍 방문기
AWS MLOps 분산학습 워크숍 참관 후기: MLOps 동향, SageMaker 활용 사례, 분산 학습 방법 및 SageMaker 포트폴리오 소개.
MLOpsSageMaker분산학습Data MeshAWS
2023. 1. 10.
컬리