如何用数据驱动用户和营收增长？

摘要：作者叶丁丁，GrowingIO的联合创始人，也是企业合作工具风车的联合创始人，十多年的项目开发经验和多年的项目管理经验，现负责核心项目开发和技术实施。这篇文章是他对互联网初创公司数据收集和分析的一些思考和经验。在过去的六七年里，我一直在企业服务领域创业，并使用了许多分析工具：GA、Mixpanel、Heap等，功能强大，但总觉得少了点什么。我们看到了PV/UV等概览指标，但它们不能引导我们做得更好。在通过这些粗糙的数据得到用户做了什么之后，我们也应该看到他们做了什么，并理解他们为什么做了什么。通过对用户行为全过程的分析，我们需要实时、完整的用户行为数据，找到转换的关键节点和用户流失的核心原因，从而帮助我们对症下药，找到可执行的指标，并将其作为优化行动来实施。今天，我想分享的是我们在这方面的一些探索和解决方案。1、从数据组成的角度来看，用户行为分析的巨大需求主要分为三部分：第一部分是用户行为数据，第二部分是服务端日志数据，第三部分是交易Transaction数据。其中，除了交易数据经常存储在离线数据库中，通过ETL获取分析，行为数据和日志数据往往相似，完整的用户行为数据基本上可以覆盖绝大多数服务日志数据，包含大量日志数据缺乏信息。从技术发展的角度来看，近年来发展最快的可以说是前端，每个月都会有很多新事物。总体趋势是发展到单页应用程序，追求用户体验。与此同时，移动应用程序也产生了大量的行为数据，这些数据不会与服务器过度交互。因此，从应用程序提供商的角度来看，我们需要知道屏幕前的人是如何使用我们的产品的，以及用户行为背后的价值。GrowingIO自去年12月8日发布以来已经几个月了，目前已有数百名客户在使用。我总结了客户经常问我们的分析需求，大致可以分为三个场景：第一个场景是：我做了一个活动，我写了一篇文章，我想知道效果如何，是否给我带来了足够的流量，即营销效果的衡量。我们的一些客户每年在SEM上有数百万的市场预算，但他们不知道这笔钱花了多少回报。第二个场景是用户激活过程是否合理，流量是否辛苦引入，这些流量是否转化为用户，注册流程中的每一步都转化了多少，流失了多少，没有转化的地方。在此基础上，我们应该如何优化，优化后的效果如何，本周的转化率是否比上周有所提高，差异是如何造成的等等。第三个场景是这些注册用户是否留下来成为忠实用户甚至付费用户。留下来的用户，是什么留下来的？是否有一个魔法数字，可以大大提高用户留存率，例如，Linkedin发现，第一周增加5个社会关系的用户保留率非常高；Facebook发现，第一周增加10个朋友的用户保留率非常高；Twitter发现，第一周有30个followers的用户保留率非常高；Dropbox发现，第一周安装两个以上操作系统的用户保留率非常高。这些都是在保留分析中发现的魔法数字。这些都是在保留分析中发现的魔法数字。归根结底，所有的分析最终都是为商业服务的，而商业是为人们服务的。因此，用户行为分析是指我们需要建立一个基于用户行为的分析系统。除了了解用户“谁”做了“什么”和“怎么做”之外，我们还需要了解“为什么”，对症下药，并将其转化为优化行动。分析是一个需要我们不断监控数据变化的长期优化过程。除了行为数据指标，还有另一种数据指标，我们称之为虚荣指标，如PV、看到UV等流量概览数据，就能看到这些指标，不能引导我们做得更好。用户行为数据指标是另一种，如用户获取、用户激活、用户保留等，理解这些行为将对应于优化过程，也称为ActionableMetric，可执行指标，这也是用户行为数据的魅力。接下来，我们将开始跟踪用户的行为，我们将如何开始。一般可分为以下七个步骤:1。确定一个场景或一个目标的分析场景或目标。例如，我们发现许多用户访问了注册页面，但很少有用户最终完成了注册，所以我们的目标是提高注册转换率，了解为什么用户没有完成注册，哪一步阻止了用户。2.思考我们需要知道哪些数据，我们需要知道哪些数据，以帮助我们实现这个目标。例如，对于以前的目标，我们需要拆解从进入注册页面到完成注册的每个步骤的数据，每个输入的数据，以及完成或未成为这些步骤的人的特征数据。3.确定谁负责收集数据？我们的工程师通常是谁负责收集这些数据的。4.什么时候评估分析？如何分析收集到的数据，何时评估收集到的数据。5.如何给出优化解决方案？发现问题后，如何制定解决方案？例如，是否在设计上有所改进，或者是否是工程上的bug。6.谁负责实现解决方案？确定实施计划的责任人。7.如何评估解决方案的有效性？下一轮数据采集和分析，回到继续迭代的第一步。知易行难。第二步到第四步是整个过程中的关键。GA等传统服务提供商、Mixpanel、我称之为Capture模式。将确定点埋在客户端，将相关数据收集到云中，最后在云中呈现。比如图中的这个例子，相信在座的每个人都应该写过类似的代码。对于非探索性分析，Capture模式是一种非常有效的方法。但同时，对参与整个过程的人也提出了很高的要求：缺点1：以经验为导向的Capture模式非常依赖于人们的经验和直觉。这并不意味着经验和直觉不好，但有时我们不知道什么是好的。相反，经验将成为先入为主的负担。我们需要用数据来测试来证明。缺点2：此外，有效的分析结果取决于数据的完整性和完整性。和很多企业沟通后，很多吐槽都是“连日志格式都不能统一”，更别说后续分析了。这不是特定人的问题，更多的是合作和沟通的问题。参与者越多，产品经理、分析师、工程师、运营商等。每个人的专业领域都不一样，误解太正常了。曾经和我们的CEOSimon沟通过，当Linkedin带领数据分析部门时，Linkedin专门组建了一个多达27人的埋点团队，每天开会，就是统一埋点的格式和位置，经常开几个星期。缺点3：此外，由于需求的多变性，埋点被多次加入，缺乏统筹设计和统一管理，结果自然非常肮脏。所以我们的数据工程师还有一个很大的工作，就是清理数据，手动跑ETL出报告。据统计，绝大多数分析工作，70%到80%的时间是做数据清洗和手动ETL，只有20%左右是做真正有商业价值的事情。另一方面，作为一名清洁工程师，我最讨厌的是大量的分析代码侵入了我的业务代码。我不敢删除或更改它们。随着时间的推移，整个代码库将变得混乱。缺点4：以上数据漏采错踩还是不错的。最让人抓狂的是，当它上线时，它发现数据收集是错误的或错误的。修改后，您必须再次运行流程。一周两周过去了。这就是为什么数据分析工作如此耗时，一般以月计为原因，效率很低。3.经过无数痛苦的夜晚，我们决定改变思维方式，希望尽量减少人为错误。我们称之为Record模式。与Capture模式不同，Record模式是用机器代替人的体验，在网站或应用程序中自动收集用户的全部行为数据。由于自动化，我们从分析过程的源头开始控制数据格式。从业务角度来看，所有数据分为五个维度：Who，行为背后的人有什么属性？When，这种行为什么时候触发；Where，浏览器甚至城市地区GPS等；What，也就是内容；How，是如何完成的。基于信息的解构，数据从源头上是干净的。在此基础上，我们可以随时自动化ETL，追溯需要的数据。回到之前流程的第二步到第四步，我们已经将参与者从多方减少到基本一方。产品经理、分析师和运营商都可以使用视觉工具查询和分析数据，真正实现所见所得。不仅是PC，还支持iOS、Android和Hybrid，跨屏用户分析可以进行。作为用户行为分析工具提供商，GrowingIO不仅需要内部，还需要适应成千上万的外部网站和应用程序。因此，我们在实现过程中进行了大量的探索：自动用户行为收集我们目前接触到的GUI程序，无论是Web应用程序、IOSApp或AndroidApp都是基于树形结构和事件驱动模型两个原则。无论是Web上的DOM结构，还是App上的UI控件结构，都是在页面或屏幕上渲染的完整树形结构。因此，通过对树结构的监测和检测，我们可以很容易地知道哪些结点发生了变化，什么时候发生了变化，发生了什么变化。同时，当用户进行鼠标点击、屏幕触摸等操作时，会触发事件，绑定事件的回调函数会被触发并开始执行。基于这两点，SDK中如何实现无埋点就更清楚了。只要我们定义的函数能够在结点变化或事件发生时触发，我就知道事件发生的多重信息。数据可视化如何将收集到的数据与业务目标相匹配。我们的解决方案是我们的可视化工具。刚才提到的任何原子数据都被拆解成五个不同分类的维度。因此，当我们在可视化工具中进行匹配时，也就是对不同维度信息的匹配。例如，点击链接将匹配内容或跳转地址，即What，即How。页面上的定位信息，如树形结构中的层次位置，是否带有一些id、class或者tag，都是用来做数据匹配的信息。通过学习用户的真实行为，我们开发了一套智能匹配系统，建立了一套用于元素匹配的规则引擎。也正是因为收集了全数据，整个匹配系统就像基因进化一样，既有对过去历史的记忆，也有顺应新结构的演变。BI业务分析在系统设计过程中，在整个Datapipeline过程中，数据进入处理后，数据将根据不同的优先级进行定义。首先，数据将通过SparkStreaming实时处理，然后每次离线预聚合匹配的数据。多维分析非常灵活。用户行为数据采集的目的是了解用户过去所做的行为，用于预测未来发生的事情，无需埋藏点，随时跟踪数据，使产品经理能够完成用户行为分析的整个过程。GrowingIO希望提供简单、快速、大规模的数据分析产品，大大简化分析流程，提交效率，直接提交业务。这一切的基础是我们从第一天开始开发的无埋点智能全数据采集。基于此，我们优化了产品体验，实现了精细操作，并利用数据推动了用户和收入的增长。