유튜브블로그Top 10
내 프로필

데브허브 안내
소개업데이트 소식

데브허브 커뮤니티

How Amazon S3 Achieves 99.999999999% Durability | Engineering Behind the 11 Nines

ByteMonk

2025. 7. 11.

0

#infra
#db
  • S3의 내구성은 데이터가 시간이 지나도 손실되거나 손상되지 않도록 보호하는 것을 의미하며, 가용성(데이터 접근성)과는 다릅니다. 🛡️
  • 데이터는 여러 물리적 장치, 서버, 그리고 독립적인 전원 및 네트워크를 가진 여러 가용 영역(데이터 센터)에 즉시 복제됩니다. 🧺
  • 단순 복제를 넘어, 데이터는 여러 조각(데이터 샤드 및 패리티 샤드)으로 분할되어 저장되며, 일부 조각이 손실되어도 원본 데이터를 재구성할 수 있는 이레이저 코딩 기술을 사용합니다. 🧩
  • S3는 모든 저장 장치의 상태를 지속적으로 모니터링하고, 문제가 감지되면 자동화된 시스템이 신속하게 데이터를 새 장치로 복구합니다. 🩺
  • 각 디스크에는 비상 복구를 위한 여유 공간이 확보되어 있어, 디스크 장애 시 여러 디스크가 동시에 복구 작업에 참여하여 빠르고 효율적인 복구를 가능하게 합니다. 🌬️
  • 장애 발생률이 급증할 경우, S3는 복구 작업을 병렬로 확장하여 장애 속도보다 복구 속도를 빠르게 유지합니다. 🚒
  • 데이터 업로드 시 디지털 지문(체크섬)을 생성하고, 저장된 데이터의 모든 샤드를 주기적으로 스캔하여 미세한 손상도 감지하고 자동으로 수정합니다. 🔍
  • 데이터 저장 직후, S3는 저장된 샤드로부터 원본 파일을 재구성하여 복구 가능성을 최종 확인한 후에야 성공 응답을 보냅니다(브라케팅). ✅
  • 객체 데이터와 메타데이터(파일 이름, 크기 등)를 분리하여 저장함으로써 성능 향상과 장애 격리 효과를 얻습니다. ↔️
  • 데이터는 물리적으로 분리된 여러 가용 영역에 저장되며, 이는 인프라 수준의 장애 격리를 제공하여 광범위한 재해에도 데이터를 보호합니다. 🌍
  • 사람의 실수로 인한 데이터 손실을 방지하기 위해 버전 관리, 객체 잠금(불변성), 교차 리전 복제 등의 기능을 제공합니다. 🧑‍💻
  • 아마존의 엔지니어링 문화는 모든 변경 사항에 대한 내구성 검토, 최악의 시나리오 시뮬레이션, 시스템 압력 테스트 등을 통해 11 나인 내구성 목표를 유지하는 데 중점을 둡니다. 🧠

Recommanded Videos