在日常的运营中，如何才能运用好AB测试？

我相信操作对AB测试并不陌生。当我们从数据中发现某些问题，但不确定我们想出的解决方案时，领导会说：小规模测试。此时所说的测试是AB实验，简单地说，AB测试是为产品界面或工艺制作两个（A/B）或多个（A/B/n）在同一时间维度上，版本允许组件相同（相似）的访问组（目标组）随机访问这些版本，收集每个组的用户体验数据和业务数据，最终分析和评估最佳版本，并正式使用。AB实验有利于优化用户体验，提高漏斗或单个节点的转化率，使产品的最终效果越来越好。那怎样进行测试呢？如何保证测试数据的有效性，在最短的时间内测试结果，以便以后更好地调整。小步快跑，关键是步子要小，结果要快，以后才能在操作过程中更好地运用。今天，让我们来谈谈如何在日常操作中充分利用AB测试。通过数据反馈、AB测试、测试结果分析、操作策略优化等过程，最终做好产品转型的各个环节，更好地提高ARR环节的某一数据指标。第一，在发现数据中的问题之前，我写了一篇文章:运营商如何分析数据？从日常数据中发现问题，发现异常数据。最后，要从数据中发现问题，还需要回到数据中解决问题。一般来说，在数据折线图中，数据的下降拐点在很大程度上是异常数据。在进行数据分析时，我们可以关注这些数据。如下图所示，每周新增用户趋势图可以重点分析为什么新用户的增长率在第四周后下降，是因为预算下降吗？换句话说，在用户注册过程中遇到了哪些问题，导致新用户数量下降。在日常操作中，漏斗模型用于数据分析，不一定是AARR模型，但用户路径中的每一个关键步骤都会丢失，转化率下降，只是说损失是否在合理范围内，与行业平均数据相比，数据是否仍有优化的空间。从关键用户路径出发，可以快速从数据中找到用户在哪个环节可能存在一些问题，用户在哪个环节停留时间长，用户在某个环节的转化率急剧下降，这可能是AB实验的关键点。优化其中一个环节可以带来明显的数据改进，从而更好地提高转化率。例如，用户在淘宝上搜索产品的方式可能是：直接输入关键字-点击产品-查看产品信息（包括详细信息页面和评论）-询问客户服务-选择产品规则-下订单购买。而这些步骤，每个环节都会出现用户流失。如果每天的曝光率很高，但没有点击，这意味着需要在第一张图片中进行优化，以了解为什么用户不点击：是因为人群不准确，还是因为第一张图片和竞争产品更有吸引力，还是其他原因。所有这些都可以通过AB实验进行测试，不断优化用户路径中的关键步骤。接下来，我们将进入关键点，如何进行AB实验，在这个过程中需要注意什么，什么样的实验才能真正成为一个好的实验。二、如何进行AB实验？对于AB实验，我将主要从以下四个方面进行解释。1)确定实验的核心目标2)确定测试样本量3)确定实验周期4)AB实验遵循上述四个关键点的原则，是我认为AB实验最关键的核心，理解这些东西，基本上可以进行一个完整的AB实验。接下来，我将举例说明。1.不用说，确定AB实验的核心目标，操作是以目标为导向的，做实验也不例外。只有确定AB实验的核心目的，才能更好地进行后续的AB实验。在核心目标中，需要扩展其他两个与核心目标相关的指标，一个是辅助指标，另一个是反向指标。只有有了这两个指标，我们才能更好地确定核心目标，并在后期更好地测试这是否是一个成功的实验。如果核心指标增加了很多，但反向指标也增加了很多，那么它可能相当于死羊补充，拆除东墙补充西墙，最终很难提高核心指标。当用户搜索产品时，我们发现用户的点击率很低，远低于行业的平均水平。假设行业的平均水平是5%，而你的产品目前的点击率只有2%。假设核心目标是将商品点击率从2%提高到5%，而辅助指标是购买转化率会在一定程度上提高。毕竟要保证进来的流量不是虚假流量，最终会形成一定的转化。反向指标是页面的跳失率在一定程度上不会受到太大影响。2.确定测试样本量并确定实验目标后，应计算需要测试的样本量。虽然大样本量可以更好地反映实验的准确性，但也可能需要更多的时间来收集数据。样本量小，数据的准确性难以说明。因此，我们需要在有限的时间内收集足够的数据进行实验。按照实验的准确性原则，统计一般是显著的≥95%确定的样本量是有效的样本量，可以保证实验结果的准确性。确定操作的显著统计差异不是偶然因素造成的，而是系统设置的测试实验结果。如何根据统计显著确定所需的最小样本量？直接用AB测试样本数量计算器（https://www.eyeofcloud.com/124.html）计算每个版本所需的最小样本量。也就是说，做这个实验至少需要640个样本。而且要保证分流的均匀性，人群是随机分类的。3.确定实验周期是否保证了上述样本量后，实验的准确性就能得到保证吗？答案是否定的，另一个非常重要的因素是保证实验周期，可以覆盖产品的一般使用周期。也就是说，高频用户和低频用户可以覆盖产品，以确保用户组之间的差异不会产生一定的数据差异。例如，如果产品的使用周期为7天，则实验周期需要大于或等于7天。如果产品的使用周期为30天（如工具产品，频率相对较低），则实验周期大于或等于30天，以更好地保证实验的准确性。4.接下来，简要介绍AB实验需要遵循的原则，以便在确保实验结果的前提下，更好地进行实验，快速促进实验的进行。1)小步快跑原则遵循效率优先、简单优化的原则，一点一点优化，一步一步优化。不开发就不开发。如果你能从UI层面解决它，你就不能麻烦开发你的小弟弟。即使你想开发，你也应该了解竞争产品的情况，给产品和技术一定的数据支持，否则很难实现需求着陆。毕竟，开发弟弟的时间是非常宝贵的，他们需要确认他们所做的可能会产生一定的影响。2)AB实验的案例借鉴原则，必须从数据入手，找出异常数据。而最终的优化实验，也需要找到一些案例来支持(真的没有，也需要找到类似的案例。毕竟，我们有很多产品，我们不担心找到类似的产品来支持我们的实验。）有其他案例作为支持，也就是说，这个实验是从一个成熟的产品中学习的，所以成功的机会更大。同时，如果有开发需求，产品和技术会更加认可这一需求。(但请看第一条，设计开发必须需要时间表，时间表必须需要时间表。）3)做好预期管理原则，不仅包括对实验的预期，还包括对领导预期的管理，不要给领导和其他合作伙伴太高的预期。最终的结果，要让结果高于预期，才能在未来更好地促进资源，让大家更加信任你。第三，测试结果分析的下一个关键步骤是测试结果的数据分析。辅助指标在保证核心指标明显提升的基础上，也有一定数量的提升。同时，反向指标变化不明显。一旦反向指标的差异发生明显变化，这可能是一个不成功的实验。毕竟，牺牲其他指标来改善核心指标并不是一个长期的操作策略。若统计显著性，≥95%证明核心指标有了一定程度的提高。同时，计算辅助指标是否也有一定程度的改进，也使用上述AB测试工具计算器来计算统计显著性。在一定范围的数据支持下，如果实验结果产品化或继续优化迭代，则需求更加可靠。4、整理分类实验结果，将AB实验结果记录在实验表中，便于以后更好地调用实验想法，为新的实验想法提供参考。一般实验记录可分为以下关键点：实验目标：如提高单点转化率或漏斗转化率实验类型：页面实验、文案修改实验或用户路径优化，简单描述。实验过程：简要描述实验过程中使用了多少样本，以及在多长时间内完成了什么样的实验。实验结果：最终实验结果如何。整理分类已完成的实验结果，方便自己或后来的人转移实验库，从而在一定程度上提高工作效率。以上是我关于AB实验的一些分享。在AB实验中，最重要的原则是控制单个变量，小步快跑，得出结果，不断优化总结。升级迭代，不断优化实验思维，最终使操作系统变得越来越灵活。