버
버즈빌
June 14, 20181회
A/B Testing - Sampling부터 Interpretation까지
간단 소개
A/B 테스팅의 샘플링 방법과 결과 해석에 대한 실질적인 가이드라인을 제시하고, 흔히 발생하는 문제점과 해결 방안을 공유합니다.
AI Summary
- A/B 테스팅 개요
- A/B 테스팅은 프로덕트 개선을 위해 중요하며, 샘플 사이즈 결정이 핵심 질문 중 하나임.
- 이 글은 A/B 테스팅 시 발생하는 궁금증을 해결하고, 샘플링과 결과 해석에 대한 경험적 인사이트를 제공함.
- 샘플링 방법
- t-test를 활용하여 그룹 간 평균값 비교, 일반적으로 알파 오류율 5%, 테스팅 파워 95% 기준, 샘플 120개 이상 권장.
- 랜덤 샘플링은 stimulus가 잘 표현되도록 중요하며, mod 함수를 이용해 그룹을 나누는 방법 제시.
- 샘플은 population의 축소판이어야 하며, NRU(신규 유저)만을 대상으로 테스트 시 전체 유저 대상 결과와 차이 발생 가능.
- 결과 해석
- t-test는 두 그룹이 같은 분포에서 나왔는지 다른 분포에서 나왔는지 판별하는 테스트임.
- 통계적 유의미성 판단 시, 그룹 크기와 결과의 일관성을 고려해야 함.
- 결과를 일별로 끊어서 분석하면 더 많은 인사이트를 얻을 수 있으며, 아웃라이어 발생 시 원인 분석 필요.
Next Feeds
Apache Spark에서 컬럼 기반 저장 포맷 Parquet(파케이) 제대로 활용하기
Apache Spark에서 Parquet 포맷을 활용하여 저장 용량과 처리 성능을 극적으로 개선한 경험 공유 및 최적화 과정 분석.
Apache SparkParquet컬럼 기반 저장데이터 최적화성능 향상
2018. 5. 24.
VCNC
버즈빌의 AWS Summit 2018 발표 참관기
버즈빌, AWS Summit 2018에서 Kubernetes 활용 경험을 공유. Kubernetes 도입 배경, 기능 소개, AWS 환경에서의 활용 데모를 통해 서비스 운영의 안정성을 강조.
AWS SummitKubernetesContainer OrchestrationkopsDevops
2018. 5. 4.
버즈빌
Go 서버 개발하기
Django 기반 서버의 성능 개선을 위해 Go 언어를 도입하고, Docker, Nginx를 활용하여 효율적인 인프라를 구축한 경험 공유.
GoDjangoDockerNginxAPI
2018. 2. 12.
버즈빌
비트윈 데이터팀의 Spark Summit EU 2017 참가기
비트윈 데이터팀의 Spark Summit EU 2017 참가 후기: Spark의 발전 방향, 딥러닝 지원, 컨퍼런스 경험 공유.
Spark빅데이터딥러닝컨퍼런스데이터 분석
2017. 12. 18.
VCNC
아마존 에코를 활용한 음성 인식 에어컨 제어
아마존 에코와 라즈베리파이를 이용, 음성으로 에어컨을 제어하는 시스템 개발 과정과 회로 설계, LIRC 설정, 프로토콜 분석을 설명합니다.
아마존 에코라즈베리파이음성 인식에어컨 제어LIRC
2017. 9. 27.
버즈빌
안드로이드 파편화(Fragmentation)에 대하여
안드로이드 파편화의 원인과 문제점을 분석하고, 스타트업의 효율적인 대응 전략 및 구글의 해결 노력을 제시합니다.
안드로이드파편화OS하드웨어커스터마이징
2017. 8. 8.
버즈빌