컬
컬리
February 17, 20231회
컬리의 BigQuery 도입기 - 2부
간단 소개
컬리의 BigQuery 도입 과정과 데이터 파이프라인 구축, 그리고 그로 인한 효과(성능 향상, 비용 절감)를 요약합니다.
AI Summary
- 신규 데이터 파이프라인 아키텍처
- 정형 데이터 파이프라인은 RDBMS의 CDC 로그를 Kafka Topic으로 전송, BigQuery Streaming API를 통해 CDC 로그 테이블에 저장, Merge Procedure를 통해 Final 테이블 생성.
- 비정형 데이터 파이프라인은 NoSQL의 Change Stream을 Kafka Topic으로 전송, JSON Format Processing 후 Merge Procedure를 통해 Final 테이블 생성.
- BigQuery 도입 결과 및 효과
- 저렴한 스토리지 비용과 뛰어난 확장성으로 데이터 레이크하우스 구축, 운영 DB 이력 및 다양한 로그 보관 가능.
- Merge 문을 사용해 데이터 적재 속도 향상 및 데이터 연동 지연 시간 감소, 데이터 파이프라인 개선.
- 데이터 파이프라인과 데이터 조회를 위한 프로젝트 분리 및 파티션 설정을 통해 쿼리 응답 시간 감소.
- 스캔 비용 기반 과금 및 슬롯 예약 구매를 통해 비용 감소.
Next Feeds
나만의 Jest Matchers 만들기
Jest Custom Matchers 설정 및 활용법을 통해 테스트 코드의 효율성과 가독성을 높이는 방법을 제시합니다.
JestMatchers테스트Custom Matchers타입스크립트
2023. 2. 16.
카카오엔터테인먼트FE
나만의 Jest Matchers 만들기
Jest Custom Matchers 설정 방법과 활용을 통해 반복적인 테스트 코드 작성을 줄이고 효율성을 높이는 방법을 제시합니다.
JestMatchers테스트Custom Matchers타입스크립트
2023. 2. 16.
카카오엔터테인먼트FE
쿠키런: 킹덤 AWS AZ 장애 아웃라인
쿠키런: 킹덤 AWS AZ 장애 발생 원인 분석, 대응 과정, 그리고 멀티 AZ 전략의 중요성을 강조하며 얻은 교훈을 공유합니다.
AWSAZ 장애CockroachDB데이터 복구멀티 AZ
2023. 2. 16.
데브시스터즈
광고 예산 제어 시스템 개선기: Part 2 – 더 정교한 시스템, 그리고 성과
버즈빌 광고 예산 제어 시스템 개선을 통해 정교한 예산 관리, 빠른 개발, 수익성 개선을 달성한 여정을 소개합니다.
예산 제어광고 시스템성과 최적화마이크로서비스시뮬레이터
2023. 2. 15.
버즈빌
카카오엔터테인먼트의 첫 번째 사내 해커톤, ENTERTHON 2022! 열정과 재미가 가득했던 무박 2일
카카오엔터테인먼트의 첫 사내 해커톤 ENTERTHON 2022는 기술과 즐거움의 조화를 추구하며, 혁신적인 아이디어와 높은 몰입도를 통해 성공적으로 마무리되었다.
해커톤ENTERTHON카카오엔터테인먼트기술 문화아이디어
2023. 2. 14.
카카오엔터테인먼트FE
포켓몬고와 티맵은 내 위치를 어떻게 잡을까? - 18편 - 위치 기반 서비스의 이해 및 측위 방법
위치 기반 서비스(LBS)의 개념, 측위 방법(Cell Tower, WiFi, GPS), GPS 동작 원리 및 데이터 규격에 대한 설명.
LBSGPS측위삼변측량NMEA
2023. 2. 13.
티맵모빌리티