올
올리브영
August 8, 20221회
올리브영 데이터 엔지니어링
간단 소개
올리브영의 데이터 엔지니어링은 ETL에서 클라우드 기반으로 확장되었으며, MSA 기반 데이터 서비스 플랫폼으로 진화 중입니다.
AI Summary
- 올리브영 데이터 엔지니어링 정의 및 범위
- 데이터를 유용한 상태로 필요한 이에게 제공하는 업무이며, 데이터 활용 능력이 중요합니다.
- 좁게는 데이터 파이프라인 개발, 넓게는 데이터 프로세스 수립, 데이터 플랫폼 구축을 포함합니다.
- 올리브영 데이터 엔지니어링 변천사
- IDC 기반: 전통적인 ETL 시스템 구조로 DW에 데이터를 적재하는 파이프라인 개발에 집중했습니다.
- IDC + 클라우드 기반: GCP를 도입하여 Airflow, Spark를 통해 다양한 데이터 원천을 수용하고 빅쿼리를 이용한 데이터 분석 환경을 제공하며, 로그 수집 기능도 제공합니다.
- 향후 확장 방향
- MSA 아키텍처를 통한 데이터 서비스 플랫폼으로 확장하여 다양한 형태의 데이터 제공을 목표로 합니다.
- 데이터 기반의 올리브영을 만들기 위해 데이터 서비스에 대한 지속적인 고민을 하고 있습니다.
Next Feeds
Redux, Again
React 상태 관리의 어려움 극복을 위해 Redux를 도입하고, Local state 우선 전략과 Hook을 활용한 상태 공유를 거쳐, 결국 Redux의 생산성을 재발견하는 과정.
ReduxReact상태관리HookContext
2022. 8. 8.
VCNC
컬리 검색이 카프카를 들여다본 이야기 1
컬리 검색 시스템에서 카프카 설정 튜닝을 통해 메시지 처리량(스루풋)을 개선하고 불필요한 시스템 동작을 방지한 경험 공유.
카프카레디스리밸런싱max.pollBatch Listener
2022. 8. 8.
컬리
Unity 프로젝트를 위한 Git Hooks 활용
Unity 프로젝트에서 Git Hooks를 활용하여 문제 예방 및 개발 효율성을 높이는 방법과 주의사항을 소개합니다.
Git HooksUnity버전 관리개발 효율성Rust
2022. 8. 2.
데브시스터즈
합성 컴포넌트로 재사용성 극대화하기
합성 컴포넌트 패턴을 사용하여 재사용성과 유연성을 극대화한 Dialog Modal 구현 사례를 소개하고, prop 기반 방식과의 비교를 통해 장단점을 분석합니다.
합성 컴포넌트재사용성프론트엔드Atomic DesignDialog Modal
2022. 7. 31.
카카오엔터테인먼트FE
합성 컴포넌트로 재사용성 극대화하기
합성 컴포넌트 패턴을 사용하여 프론트엔드 컴포넌트의 재사용성과 유연성을 극대화하는 방법에 대한 기술 블로그 글입니다.
합성 컴포넌트재사용성프론트엔드Atomic DesignDialog Modal
2022. 7. 31.
카카오엔터테인먼트FE
GPS 정보로 교통정보 생성하는 방법 - 13편 – 특정 시간대에 특정 도로의 교통정보를 계산해보자
GPS 정보를 활용하여 특정 시간대, 특정 도로의 교통정보를 생성하는 방법에 대한 설명.
GPS교통정보링크버텍스속도 계산
2022. 7. 28.
티맵모빌리티