围绕增长AB测试，分享要注意的五件事情

在成长工作中，AB测试可以说是一种被视为标准的方法，也是产品/操作学生的工具。工作更多地用于AB测试，但也有更多的经验教训和学习思考。本次分享实际使用AB测试中的5个关键问题，共同交流避坑。在AB测试中，对照组和实验组的样本量越大，实验时间越长，实验结果就越准确。这可以说是常识判断，但实际上是由统计显著性决定的:统计显著性是指对照组和实验组的数据差异可能是真实的，而不是随机误差造成的。因此，周期更长、样本量更多的AB测试更有说服力。然而，在实际工作中，产品或活动的迭代速度很快，这就要求AB测试的实验周期不能太长。因此，在AB测试之前估计样本的规模非常重要。计算样本量的方法有点复杂。对于多年来丢弃高数和概率论的农民工，建议向数据分析学生寻求帮助。在这个样本数量计算器中，输入原始版本的转化率(已知)，然后输入优化版本的转化率(预期)，同时设置显著的统计水平，一般达到95%以上就是显著差异。这样可以快速获得样本数量结果。如上图所示，如果原版转化率为10%，优化后的新版转化率预计为12%。AB测试时，每组用户样本数据达到2900以上，可以说明新版转化率明显不同，可信。在计算了估计的样本数量后，另一项重要的工作是估计实验周期。如果可信的AB测试每组实验需要2900个样本量，但我们的产品每天只有200个日常用户，分成两组后每组只有100个用户，则2900/100=29天，这意味着AB测试实验需要29天才能达到所需样本量。此时，有必要评估这个周期是否可接受。如果周期过长，则表明AB测试在现阶段不合适。2、测试结果分析样本规模的估计是在AB测试前进行的。由于优化版本的转换数据是估计的，样本量和实验周期都是估计数据，这有助于我们在AB测试前对测试样本和周期进行初步判断。实际AB测试实验结束后，还需要对实际结果数据进行统计显著性检验，确保对照组与实验组的数据差异显著可信。在此工具中，通过输入AB组的实际数据，可以清楚地看到两者转化率的差异和试验结果的统计显著结果。以上图为例，虽然B组的转化率高于A组，但由于样本量小，试验结果没有明显的统计差异，我们无法得出B组优化优于A组的结论。此时，有两种选择，一种是继续实验，积累更多的实验数据进行分析，另一种是放弃实验，得出结论，优化没有显著改进。这并不意味着继续实验会产生显著的差异。如果样本量继续增加，但转化率差异降低，这意味着需要更多的样本量。这种情况通常表明两个版本之间的差异很小，但也需要根据实际情况来判断是否需要停止AB测试。在AB测试中，通常有一个核心指标来判断实验结果，并有一些支持或辅助指标来更好地监测实验和分析结果。但不可忽视的是一些反向指标。什么是反向指标？反向指标是AB测试实验中可能产生负面影响的指标。举个简单的例子：为了提高新用户的注册率，AB实验过度包装了新版本中的新用户权益。虽然新用户注册率有所提高，但由于用户预期管理不足，新用户注册后发现实际新用户权益大大降低，对产品不满，导致新用户首次订单转化率下降。在这个实验中，新用户首单转化率是一个值得关注的反向指标。为了实验的速度和效果，AB测试往往关注少数关键流程节点和核心指标，但忽略反向指标有得不偿失的风险。4、辛普森悖论辛普森悖论是指在某些条件下，两组数据在讨论时会满足某些性质，但一旦合并考虑，可能会导致相反的结论。英国统计学家辛普森提出了这一理论。举个简单的例子，在新用户首购流程的AB测试实验中:第一天，A组转化率为10%(10/100)，B组转化率为12%(120/1000)。；第二天，A组转化率为15%(150/1000)，B组转化率为16%(160/1000)；分别看两天，B组的转化率高于A组。但总体而言，A组转化率为14.5%(160/1100)，B组转化率为14%(280/2000)；总数据A组的转化率高于B组。因此，在分析过程中无法直接判断实验结果。辛普森悖论的存在对AB测试、合理选择用户样本、监控调整样本量、综合数据分析等提出了更多的要求。例中分日和总数据结论相反的原因是第一天A组和B组的样本量差异很大。5、对于大量的产品和完善的增长团队，分层实验将同时进行多个AB测试，因此需要考虑分层实验。分层实验是指建立多个实验的分层结构，每层实验使用的流量，下一层实验可以继续使用。有些人不太容易理解。继续举个例子：以电子商务产品的新流程为例。新用户下载并打开应用程序后，主页上有一个新礼品包的入口。点击进入后，您可以查看新产品的权益和优惠产品。新用户在查看新产品后完成订单，这是新用户转型的基本途径。为了优化现有的新人转化流程，多个AB实验同时从新人礼包首页展示、落地页展示、新人商品详情页进行。在主页显示中，AB实验同时进行了按钮颜色和指导副本。为了确保变量的唯一性，按钮颜色实验中的其他内容，包括副本，完全相同，副本实验中的其他内容，包括按钮颜色，也完全相同。这需要将100%的流量分为两部分，假设每50%，即50%的用户进行按钮颜色实验（25%看到红色按钮，25%看到黄色按钮，两组文案一致），其余50%的用户进行文案实验（25%看到“权益收购”文案，25%看到“1元订单”文案，两组按钮颜色一致）。进入新人页面后，对权益展示的方式进行了AB实验。权益展示的AB实验从第一层(主页)的流量(100%)进行。第一层100%的流量刚刚进行了按钮颜色和文案实验。为了避免上层实验对权益展示实验的影响，上层流量应随机分配到权益展示实验的AB两组，即分层实验中的流量正交。上层流量分布均匀。分层实验在实际工作中很少见，但成熟的产品必须考虑到这种情况，才能在进行多个AB实验的同时更高效、更科学。分层实验在实际工作中很少见，但成熟的产品必须考虑到这种情况，以便在进行多个AB实验的同时更有效、更科学。团队还应保持沟通，避免单独进行实验，但不知道结果受到对方实验的影响，得出不恰当的结论。以上，就是关于AB测试的五个阶段分享，在以后的工作中，AB测试还会继续进行，新的问题还会出现。