Google Timeseries Datastore: QUADRILLION Metrics In Memory
- 구글에서는 수많은 서버에서 생성되는 메트릭 데이터를 효율적으로 저장하고 관리하기 위해 Monarch 시스템을 구축했습니다. 💾
- Monarch는 실시간 처리, 낮은 지연시간 (100ms 미만), 고가용성을 요구하는 대규모 시간 시계열 데이터 저장소입니다. 📊⏱️
- Google의 다양한 시스템 (Photos, Spanner, Colossus 등)에서 발생하는 메트릭 데이터를 Borgman만으로 관리하던 시스템에서 벗어나 공통된 데이터 저장소로 통합되었습니다. 🏢🚫
- Monarch는 Petabytes 규모의 데이터를 메모리에 저장하고 압축 알고리즘을 활용하여 효율성을 높였습니다. 🧠⚡
- Timestamp 공유와 차분코딩 알고리즘을 사용하여 저장 공간을 단축하고, 데이터 쿼리 및 분석을 용이하게 했습니다. ✂️🔎
- 각 시간 창에 대한 히스토그램을 저장하고 예제 요청 트레이스 ID도 함께 저장하여 이상 징후를 쉽게 감지하고 분석할 수 있습니다. 📈🕵️♂️