데
데브시스터즈
November 27, 20201회
데이터 분석 라이브러리 개발기 (1)
간단 소개
PySpark SQL 기반 데이터 분석 환경 개선을 위해 DevPlay Analytics 라이브러리를 개발하고 적용한 과정 및 효과를 설명합니다.
AI Summary
- DevPlay Analytics 라이브러리 개발 배경
- PySpark SQL 사용 시 겪는 불편함 해소 및 데이터 분석 효율성 증대
- 데이터 접근 경로 복잡성, 설정 관리 어려움, 환경 차이 등의 문제점 해결 필요
- DevPlay Analytics 라이브러리 주요 기능 및 구조
- 데이터 계층 추상화: 데이터 접근을 단순화하고 SQL 인터페이스 제공
- 모듈별 기능 분리: 데이터 계층, SQL 계층, IO 계층, 설정 계층으로 구성
- 레퍼런스 문서 제공: API 사용법 및 분석 예시를 제공하여 접근성 향상
- DevPlay Analytics 라이브러리 효과 및 향후 과제
- 데이터 분석 코드 간결화 및 재사용성 향상
- 데이터 분석가들의 긍정적인 피드백 및 라이브러리 활용도 증가
- Python 문법 숙지 필요성 및 분석 방법 학습의 어려움 개선 필요
Next Feeds
Luft: 유저 행동 분석에 최적화된 OLAP 데이터베이스 - AB180 엔지니어링 베이스 | 기술블로그
AB180에서 개발한 유저 행동 분석 특화 OLAP DB Luft는 빠른 쿼리 성능과 효율적인 데이터 관리를 제공합니다.
OLAPLuft코호트 분석TrailDB람다 아키텍쳐
2020. 11. 25.
AB180
다크 모드로 알아보는 카카오페이지의 iOS 업데이트 / if(kakao)2020
카카오페이지 iOS 앱의 다크 모드 도입 과정과 고려 사항을 소개합니다. iOS13 다크 모드 적용 및 iOS12 이하 지원에 대한 내용이 포함되어 있습니다.
다크 모드iOS13카카오페이지UI색상
2020. 11. 24.
카카오엔터테인먼트FE
Terraform을 사용해보았습니다. 나 혼자만 beanstalk / if(kakao)2020
AWS Elastic Beanstalk에서 Terraform, ECS, Jenkins로 전환한 경험과 실제 프로덕션 환경 적용 사례 공유.
TerraformAWSECSJenkins인프라
2020. 11. 24.
카카오엔터테인먼트FE
유연한 해외 현지화를 위한 iOS 앱 구성 / if(kakao)2020
iOS 앱의 유연한 해외 현지화를 위한 multi build, tag, PropertyWrapper 활용법을 소개합니다.
iOS현지화multi buildPropertyWrapper다국어
2020. 11. 24.
카카오엔터테인먼트FE
코드 리뷰 in 뱅크샐러드 개발 문화
뱅크샐러드의 코드 리뷰 문화는 비동기 소통, 작은 PR, 실험 플랫폼, 저 문맥 커뮤니케이션, 자동화 등을 통해 효율성과 코드 품질을 높이는 데 집중한다.
코드 리뷰비동기 커뮤니케이션작은 PR실험 플랫폼자동화
2020. 11. 24.
뱅크샐러드
올리브영 기술블로그 개발기
올리브영 기술 블로그를 Github Pages와 Jekyll로 구축한 과정과 이유, 주요 기능 및 앞으로의 계획을 소개합니다.
올리브영기술 블로그Github PagesJekyll마크다운
2020. 11. 9.
올리브영