입사 첫날에 36시간 점검 경험하기

간단 소개

신입 개발자가 쿠키런: 킹덤 런칭 직후 36시간 점검을 겪으며 데이터 복구 과정을 경험하고, 협업의 중요성을 깨닫는 과정을 담은 회고.

AI Summary

입사 첫날, 36시간 점검 경험
- 2021년 1월 25일, 쿠키런: 킹덤 런칭 직후 데브시스터즈 입사, 데이터플랫폼셀 팀에 합류.
- 입사 당일, 킹덤 접속 불가 이슈 발생, 36시간에 걸친 긴급 점검 시작.
- 데이터베이스 문제와 복구 과정
  - 데이터베이스 클러스터에서 데이터 인식 불가 문제 발생, AWS 및 CockroachDB 엔지니어와 협력하여 대응.
  - 롤백 대신 데이터 손실 최소화를 위한 데이터베이스 클러스터 간 데이터 이동 작업 진행.
  - Spark를 활용한 대용량 데이터 변환 및 이주 작업, EC2 인스턴스 부족 문제 발생.
- 점검 이후와 교훈
  - 데이터 정합성 확인 후 서비스 재개, 데이터플랫폼의 로깅 인프라 모니터링.
  - 팀과 그룹 전체의 노력으로 '온전한 유저 경험' 복구, 데이터플랫폼 인프라 활용의 중요성 인식.
  - 외부 관찰과 내부 경험의 차이, 대응 과정의 어려움과 협업의 중요성을 깨달음.