数据驱动各环节方法与实践

目录数据驱动价值：驱动决策，驱动产品智能数据驱动闭环：数据收集-数据建模-数据分析-数据反馈数据驱动方法和实践1，数据驱动价值：驱动决策，驱动产品智能数据驱动能做什么？我们认为它主要包括驱动决策和驱动产品智能的价值。图1数据驱动价值驱动决策包括运营监控、产品迭代、营销分析和业务决策。今年的数据驱动会议将有专门的讲师介绍所涉及的每一个场景。驱动产品智能，现已基本成为所有电子商务、信息产品的标准标准，如“产品推荐”、“猜猜你喜欢什么”。企业要么组建一个团队来实现智能应用场景，要么应用外部工具来解决问题，因为在流量红利逐渐消失的今天，同样的内容会让你的“保留”数字非常难看。我们曾经为一家知名的信息企业做过Feed流的修订，神策提供了具体的推荐策略。通常，个性化推荐的评价指标是CTR-显示了100种内容，有多少人点击？2018年，我们认为用CTR来评估算法的质量是非常不合适的。神策从关注指标CTR到衡量“命中策略的人”和“命中热门随机内容”的两个用户群，观察他们在平均访问深度、7天保留、停留时间等更深层次指标上的差异。二、数据驱动闭环数据采集-数据建模-数据分析-数据反馈，这是一个完整的数据驱动闭环。我们在很多情况下都不再提到这里，图2。、UI、Server浏览、搜索、金融产品等内容。对于一些业务操作，如客户与客户服务之间的互动，或内部客户操作，主要是在业务收集中完成的。4.客户收集，我将介绍最常被提及的客户收集。客户端是与用户直接互动的一端，可以是应用程序、小程序，网页，H5、公共账户等，客户端收集数据操作，包括点击按钮、浏览页面、下拉框选择、提交表格、上传照片、切换导航条等。这些操作是轻交互的，它的收集通常被称为埋点，我个人认为埋点更多的是指客户端收集。（1）客户端收集的基本原理有三个：第一：提供SDK和用户应用程序“编译”到客户端收集有各种模式，但本质上是提供SDK和用户的应用程序编译。尽管埋藏的方式，完成这些事情，许多很容易被忽视，基本属性覆盖了我们能想到的所有内容，包括简单的用户行为、操作系统版本、物理分辨率等，以及许多客户通过SDK提供部分风险控制数据的收集。例如，iphone手机是否越狱，浏览是水平屏幕还是垂直屏幕，以及功率等。（为什么使用SDK来收集当前的功率，这些都是非常重要的，因为它们可以使用SDK来完成当地的功率传输，因为它们可以立即使用SDK，而不仅需要使用SDK来完成，而且当地功率传输。(S)该协议通过公共网络传输数据。有人问，所谓的代码埋点、全埋点和可视化埋点有什么区别？我们可以理解，SDK完成了基本数据的收集、数据存储、包装和传输，并向上埋点应用层提供了API。所谓的代码埋点是直接使用API告诉收集的数据。当用户完成某个操作时，全埋点自动调用SDK。因此，当SDK完成一些基本工作时，代码埋点开发人员直接调用API；全埋点开发人员可以自动完成，无需直接调用。说到这里，我们会做广告。我们将立即出版一本关于安卓8个全埋点的书。如果你感兴趣，你可以看看。（白皮书 |《Android全埋点技术白皮书》重磅推出！所有项目源代码开源！）（2）ID-Mapping在多设备用户管理系统下构建用户关联是今年的新进展和新趋势。ID-Mapping解决了不同用户多设备的使用问题。图6构建多设备用户管理系统，您可以看下图中的例子。我们做了一些工作，后台架构有了很大的改进，第二个设备可以绑定到同一个用户。只要用户登录，神策就可以完全打开不同情况下登录的数据，这是一个非常典型的ID-Mapping场景。用户行为的多端关联机制也是一个非常典型的场景。用户产品本身可以多端使用，可以在网页上使用，比如发营销H5，用户可以在微信内置浏览器H5注册，跳到Appstore激活。如果营销H5的用户行为无法与登录激活前的行为相结合，则无法详细分析H5的营销效果。另一个例子是，小程序突然流行起来，客户有需求。因此，我们专门收集了小程序，包括预置收集事件和小程序相关属性。同时，它还驱动代码和自动收集。小程序可以充分获取微信中的社交信息，这对于小程序共享和传播的属性收集非常重要。图7小程序采集小程序最复杂的事情，它有不同的匿名ID或设备ID。一个人在设备上使用小程序、应用程序和小程序，但在两个小程序之间登录帐户并打开它们。最后，我们可以将两个LoginID与OpenID设备连接起来。5.服务器日志采集图8服务器日志采集我现在画了一个非常简单的服务器日志采集架构图，技术上似乎没有问题。从实践经验来看，收集高质量的日志非常困难。一次性工作很难设置日志的内容。更难的是产品迭代。例如，如果产品每两周发送一个版本，程序员会说产品功能无法完成测试，无法制作日志。要建立高质量的日志采集，每一步都要有意识地贯穿整个开发过程，从最早到运维上线，再到整个迭代项的复盘。这就是为什么许多SaaS产品没有能力收集日志。图9用户行为数据应用案例是中国银联的典型案例，包括设备指纹采集、加密传输等。当然，这幅画反映了不同用户行为数据的应用程序。除了日常行为，还有其他一些应用程序。最后收集业务数据，包括CRM系统等。第四，数据建模数据建模最重要的是数据模型的选择和相应的存储。为什么选择数据模型很重要？由于数据模型抽象良好，后面的分析模型可以做得更好。若数据模型抽象过于复杂，整体过程十分复杂。我们目前的数据模型是Item实体、Event事件和User用户。我们不会使模型太复杂。在模型下，数据采集到建模中的工作相对较少，基本上可以是通用和产品化的。我们已经有了一个标准的数据模型，并通过不同的收集方案收集了大量的数据。我们要做的工作主要是映射收集到的数据，其中很多工作不再具体进行。不同的数据模型选择不同的存储方案。存储方案的选择主要基于数据本身的特点，如是否可添加、可修改、访问主要是什么样的访问，以及是否需要删除。五、数据分析有标准模型，有非常合适的存储结构，以下是如何分析数据。1.数据统计和分析有两种方法论。通常是图片左侧的方法论。PM提到RD。老板应该阅读这些报告并要求RD。RD写了一些东西并发送了一封电子邮件。更改程序后，会有新的需求。老板可能会问你为什么PV这么多。你可能要把整个计算过程讲完...在这种情况下，RD总是为PM设置各种限制，以免操作和变化太频繁。图10数据统计与分析两种方法论右侧的方法论，抽象模型覆盖指标系统和大多数分析需求，让需要数据的人通过友好的交互独立获取数据。这种方法论是由神策产品提供的。我们不需要问你看到什么指标，因为你看到的指标可能在整个行业都很普遍。我们将抽象需求，然后是模型抽象。这样，你的工作就会变成你自己的分析模型，通过拖动，选择你想要的条件，你可以完成一个分析。这两种方法的区别在于，需要数据的人是否可以直接使用数据，导致工作效率差异很大，这就是为什么神策产品现在可以销售，不是我们创造了这样的需求，而是真的有这样的需求。下图是神策实现的自助分析：图11自助数据分析2。对不同角色的数据分析：决策者、市场营销、产品和运营通过不同角色分析四个不同的场景。(1)决策者老板关心的第一个关键指标是什么。如何选择第一个关键指标？不同阶段的关键指标不同，每个发展阶段都有最关注的数据，集中注意力，提高第一指标。有了第一个关键指标，如何构建指标体系？有了第一个关键指标，我们需要绘制整个用户旅程。以电子商务产品为例，我们关心如何获得总收入。首先绘制用户旅程：用户必须先访问网站，然后注册他们的帐户。首次购买后，他们将重复购买。只有这样的用户旅行最终才会带来总销售额的增长。下一步是根据用户旅程建立增长模型。图12描绘了用户旅程拆卸的好处。不同的团队提出不同的项目，您可以调整项目的优先级。图13组装增长模型(2)营销营销希望实现流量拉新和渠道投放评估。营销团队，他们最关心的两件事，一是老板给了多少预算，二是如何花出去最有用。如何衡量？就像电视广告和建筑广告一样，它们在一定程度上是无法跟踪的，但可以跟踪抖音和头条新闻。同一个用户在媒体上做广告，进入产品后，只要打通这种行为，整个交付效果就可以跟踪。如今，我们可以支持二三十个大大小小的渠道。我们串通用户点击广告前后的行为，剩下的工作就是分析。比如我们在头条花了1万块钱买了1000个点击，其中50个用户使用产品。我们可以从哪些角度来衡量这些人的效果，来衡量用户的转化率、保留率、回购率等。也可以比较不同的渠道，比较不同渠道下不同关键词的效果，比较和衡量用户的真实价值。图14数据驱动营销案例图15数据驱动营销案例这是一个非常典型的数据驱动营销的例子，金融产品广告，一开始假设关注P2P金融产品是相对合格的白领，所以在核心商业区办公楼电梯广告。然而，经过转换分析，发现进口转换率很低，因此借款人肖像分析确定了目标群体的特点：24-30岁，工作时间短，收入一般，位于非核心高端地区。得出这个结论后，把投放渠道放在抖音和抖音上