The Database Query That Cost $1,000,000
- Shopify는 마케팅 도구 구축 중 Google BigQuery 사용 시 단일 쿼리로 100만 달러에 육박하는 비용을 지불할 위기에 처했습니다. 💸
- 초기 설정에서 매번 75GB의 데이터를 쿼리했으며, 이는 월 250만 건의 쿼리로 이어져 엄청난 비용을 발생시켰습니다. 📊
- BigQuery는 쿼리된 데이터 양에 따라 요금을 부과하므로, 비효율적인 쿼리는 막대한 비용으로 직결됩니다. 💰
- 해결책으로 데이터베이스를 클러스터링하여(날짜, 지역, 타임스탬프 등으로 정렬) BigQuery가 필요한 데이터만 쿼리하도록 최적화했습니다. 🧩
- 최적화 후 쿼리당 데이터 양은 75GB에서 508MB로 대폭 감소했으며, 월 비용은 100만 달러에서 1,400달러 미만으로 줄었습니다. ✨
- 클라우드 데이터 웨어하우스의 강력한 성능을 활용하면서도 비용 효율성을 유지하기 위한 데이터 최적화의 중요성을 보여주는 사례입니다. ☁️
데브허브 | DEVHUB | The Database Query That Cost $1,000,000