如何用数据来评价运营策略的执行效果？

越来越多的人提出了“数据操作”的概念。根据我个人的理解，“数据操作”是指从对业务数据的理解中抽象操作策略，用数据跟踪操作策略的执行过程，最后用数据评估操作策略的执行效果。在操作过程中，我们所说的“数据”，就是狭义的数据，实际上是各种指标。什么是指标？我觉得把“指标”这个词对应英语的indicator更准确。它是一个指示器，是量化某件事的一串数字。事实上，每个人在工作中都会有意无意地应用指标。能用就好，何必管它的定义是什么？如何用好它很重要。就操作而言，我认为在使用指标时，必须首先区分过程指标和结果指标。因此，过程型指标与结果型指标并非分离，关键在于您的操作目的。过程指标一般需要高频跟踪，根据指标的变化及时调整；结果指标一般从活动目的中抽象，适用于操作活动的评价。我们需要从信度和效度两个方面来衡量如何设计高质量的指标。所谓信度，是指某一指标衡量某一事物的准确性、准确性和稳定性。所谓效率，是指某一指标所衡量的信息，确实是研究人员所期望的信息。通过以上两个例子，你应该能够理解如何构建一个好的指标。除了信誉和效率外，良好指标的特点还需要：计算简单、快速、易于理解、泛化（不同操作活动通用、水平比较）、可持续性（口径稳定、长期可用）等特点。在许多业务场景中，我们需要关注不止一个指标组合应用-综合指标。以我们目前的业务场景为例，为了衡量城市运营团队的综合实力，我们需要从容量规模、订单接收能力、客户评价、团队稳定性、分销成本等角度出发。如果每个角度延伸1-2个指标，你就会陷入混乱。因此，我们建议使用综合指数，而不是多维度综合衡量。最常用的是加权综合指数：团队综合实力=能力规模×p1 接单能力×p2 客户评价×p3 团队稳定性×p4 配送成本×P5需要注意的是，在计算综合指数时，每个指标都需要标准化，转换为统一单位的数字，然后才能添加总数。而且p1-p5是权重，哪方面更重要，就给予更高的权重，p1-p5的和必须始终为1。我们需要关注哪些核心指标？鉴于我们目前的业务，我认为我们需要关注的核心指标是：订单率、平均成本、评价率和评价率也是结果指标。仅此而已，真的没那么复杂。从这三个核心指标，结合两个维度的组合:1。城市→网格→人/店2.月→周→天→高峰→小时足够帮助我们发现和定位问题。目前，我们特别关注午高峰的核心指标。这里的数据积累也可以帮助你，不要指望数据库告诉你一切，不可能。发现并定位问题后该怎么办？你可以用各种方法来调查、访问和问卷，找出问题的根源，然后制定操作来解决问题。当然，数据支持组会不断产生研究成果，让大家更容易、更准确地制定操作策略，更好地实施。在之前的篇幅中，我们梳理了指标的相关知识。有了这个基础，我们可以开始讨论操作活动的量化。一个优秀的运营活动应该具备哪些要素？根据我的理解，一个优秀的操作活动至少应该包括：明确的活动目标和明确的预算响应关系和可靠的过程指标的实施过程准确的结果指标科学合理的效果评价方法知识沉淀一个聪明的负责人我们需要什么过程和结果指标？以我们目前O2O分销业务的运营为例，如果我们做短期活动，我们需要跟踪的过程指标至少需要：预算、活动覆盖率、活动响应率、活动规则标准、支出百分比（支出金额占预算的比例）。对于长期的活动或策略，我建议只跟踪结果指标的变化，结果指标是我们应该关注的核心指标。如何评价运营活动？这可能是本文的核心部分。从我的角度来看，对运营活动的评价只回答了两个问题：明确的活动目标是否实现？预算是否超支？实现活动目标并控制预算是一项很好的运营活动！如何判断活动目标是否实现？必须围绕核心结果指标制定活动目标。因此，判断活动的效果，就是衡量核心结果指标是否有质变。如何进行评价？首先，拆除核心业务指标1-2层。为什么要这样做？由于核心业务指标往往受到多种因素的影响，我们试图将其拆分为一个可以直接影响我们运营行动的层次，并且接近核心指标。其次，结果指标要从时间维度进行比较，即活动前后的比较。需要注意的是，活动前后的数据比较必须跨越一个业务周期。例如，如果我们的业务有明显的7天周期波动，那么运营活动必须跨越7天。同时，平均水平的变化与平均水平的变化进行比较。大家要特别注意这一点！那么，比较活动前后的数字差异有什么区别，而不是随机波动呢？粗略的估计方法是5%，即活动前后的数据差异达到5%以上，才能说活动有显著的效果。精细的方法需要延长时间，对活动前后两段数据进行方差分析，这里就不讨论了。此外，在活动期间，没有必要每天跟踪结果指标。真正重要的是，活动的跨度必须超过一个业务周期，并在超过一个业务周期后总结结果指标，并与活动前进行比较。最后，如果条件允许，建议在实施活动时找到参考系，横向比较活动的效果。这可以消除系统性的影响。例如，全国各地的订单接收率都在上升，在某个地方的活动中，发现订单接收率上升，说是活动的效果，非常牵强。我们已经建立了城市分组，在同一群体中的城市中，我们可以找到规模相似、最参考的部门。一定要注意预算控制，注意活动的投入产出比任何操作，这也是我们目前最薄弱的环节。活动前，有必要估计总预算。在活动实施过程中，要时刻关注预算的消耗(日常统计)，这是非常必要的。除了预算总额是否超支外，我们还需要计算ROI，即投入产出比。在不同的活动中，投入产出比的计算方法必须不同。除了计算ROI，我们还需要关注整个城市的成本是否符合我们在实施活动时的宏观预算限制。最好的情况是，在执行活动的同时，整体成本不会上升，也不会下降。也就是说，我们必须把钱搬到我们应该用的地方。活动结束后，在衡量短期活动后的后续影响后，还需要跟踪活动结束后的结果指标如何变化。最理想的情况是，活动结束后，结果指标仍然保持在活动中的优秀水平，这意味着短期活动带来了长期的积极效益。我们不能忽视一些操作活动带来的滞后效应和连带效应。比较相似活动之间的效果，总结不同时期的类似活动甚至相同活动的经验。我们应该记录活动数据，观察活动之间的比较。对于许多探索性活动，我们有必要计划一系列活动来实现我们的实验目标，例如价格底部测试。我们应该分阶段和地区进行一系列测试，并从每个数据归档中总结规则。随着运营的逐步完善，我们需要具备策划和执行一系列活动的能力！小结写了这么多字，真的不是我想要的。然而，有太多的事情需要表达。简要总结如下：指标的设计需要关注3-5个核心指标的可信度和有效性。结合区域和时间两个维度的运营活动量化，需要区分过程指标和结果指标的运营效果评价。需要计算跨业务周期的平均值，差异超过5%。值得一提的是，我们必须注意预算和投入产出比活动，并记录数据和经验，对比文章中提到的活动间效果的信息，希望能帮助您在未来的运营工作中有更清晰的思路、更高效的实施和更显著的效果！