컬
컬리
February 7, 20231회
컬리의 BigQuery 도입기 - 1부
간단 소개
컬리는 데이터 파이프라인 문제 해결 및 효율적인 데이터 관리를 위해 BigQuery를 도입, 지연시간 단축, 비용 관리, 쿼리 성능 개선에 집중했다.
AI Summary
컬리의 BigQuery 도입 배경 및 주안점
- 기존 데이터 파이프라인 문제점: 긴 지연 시간, 스토리지 부족, 쿼리 응답 시간 지연, 복잡한 데이터 적재 과정 존재
- 기존 데이터 파이프라인 아키텍처: 여러 DB의 CDC 로그를 Kafka Topic으로 전송, S3에 JSON 형태로 저장 후 Airflow를 통해 Data Warehouse에 적재. 구조가 복잡하여 문제 발생 시 원인 파악이 어려움
- BigQuery 도입 주안점: Streaming API를 통한 데이터 적재로 지연 시간 단축, 파티션 설정을 통한 스토리지 비용 관리, 프로젝트 분리를 통한 쿼리 응답 시간 개선, 데이터 파이프라인 구조 단순화
Next Feeds
ㅋㅍㄱㅍ(카카오페이 개발자 페스티벌) 진행 과정 엿보기
카카오페이 개발자 페스티벌(ㅋㅍㄱㅍ)의 준비 과정, 주요 내용, 개발 문화, 팀 협업 사례 등을 공유하고, 향후 발전 방향을 모색합니다.
카카오페이개발자 페스티벌기술 회고개발 문화협업
2023. 2. 3.
카카오페이
홈 화면에 웹 바로가기를 추가하기(A2HS)
A2HS를 통해 웹 앱을 네이티브 앱처럼 홈 화면에 추가하고 실행하는 방법과 iOS 지원에 대해 설명합니다.
A2HS웹 앱매니페스트 파일서비스 워커PWA
2023. 2. 2.
카카오엔터테인먼트FE
홈 화면에 웹 바로가기를 추가하기(A2HS)
A2HS는 웹 앱을 네이티브 앱처럼 홈 화면에 추가하여 실행하는 기능으로, 매니페스트 파일과 서비스 워커를 통해 구현하며, 사용자 접근성을 높일 수 있다.
A2HS매니페스트 파일서비스 워커PWAbeforeinstallprompt
2023. 2. 2.
카카오엔터테인먼트FE
9가지 프로그래밍 언어로 배우는 개념: 5편 - 동시성 프로그래밍
동시성 프로그래밍의 핵심 개념과 다양한 기법(스레드, 뮤텍스, 액터, STM)을 설명하고, 각 기법의 장단점 및 활용 방안을 제시합니다.
동시성 프로그래밍병렬처리뮤텍스액터STM
2023. 1. 31.
데브시스터즈
카카오페이의 고객분석 플랫폼 CXM 소개
카카오페이 CXM 플랫폼은 고객 데이터 분석을 통해 개인화된 서비스와 마케팅을 제공하고, 지속적인 개선을 통해 사용자 만족도를 높이는 것을 목표로 한다.
CXM고객분석세그먼트데이터카카오페이
2023. 1. 30.
카카오페이
카카오페이 서버 개발자로 일한다는 것 (feat. 연진아 나 지금 되게 신나)
카카오페이 서버 개발자의 경험, 개발 문화, 사용 기술 스택, 그리고 성장에 대한 이야기입니다.
카카오페이서버 개발KotlinSpringMSA
2023. 1. 27.
카카오페이