AB测试设计与统计分析实战培训课程-曙海培训中心

AB测试设计与统计分析实战培训课程

•  

• 培训对象： 数据科学家、增长工程师、产品经理、算法工程师、数据分析师。

•  

• 培训目标：

  • 理解AB测试的统计学原理和核心概念。

  • 掌握AB测试的实验设计方法和流量分割策略。

  • 能够计算最小样本量和实验时长。

  • 具备实验结果分析和决策能力。

•  

• 培训内容介绍：

•  

  一、 AB测试基础与价值： 理解AB测试作为因果推断黄金标准的意义，对比AB测试与前后对比实验的优劣。

  二、 统计学基础回顾： 理解假设检验、P值、显著性水平、置信区间、统计功效等核心概念。

  三、 实验假设与指标定义： 提出原假设和备择假设，选择核心指标（OEC）和护栏指标，防止负向影响。

  四、 最小样本量计算： 根据基线转化率、最小可检测效应（MDE）和统计功效，使用公式或工具计算最小样本量。

  五、 实验时长估算： 结合日均流量和最小样本量估算所需天数，考虑周度季节性因素。

  六、 流量分割与随机化： 实现用户ID哈希分桶，保证实验组对照组的同质性，避免样本污染。

  七、 AA测试与分流均匀性检验： 进行AA测试验证分流均匀性，检验指标在实验前是否存在显著差异。

  八、 实验结果分析方法： 使用T检验、Z检验分析结果，计算提升百分比和置信区间，判断统计显著性和实际显著性。

  九、 多重检验问题与校正： 当有多个指标或多个版本时，使用Bonferroni校正、FDR控制假阳性率。

  十、 互斥实验与分层实验： 设计互斥实验和分层实验架构，避免不同实验间的相互干扰。

  十一、 网络效应与实验干扰： 处理社交产品中的网络效应，使用聚类随机化或切换实验设计。

  十二、 实战项目：完整AB测试流程： 从实验设计、埋点验证、数据收集到结果分析，完成一个完整的AB测试项目并给出决策建议。