做流量数据分析体系，监测、诊断数据，促进产品收益

1.什么是流量数据流量数据？当用户访问产品/页面时，从启动到使用产品的一系列过程将产生大量的流量数据。流量数据定义为用户访问产品/页面时产生的数据，需要企业通过数据采集获取数据。2.为什么要做流量数据分析系统？目前市场上客户获取成本居高不下。对于新用户来说，只打开一个应用程序就可能丢失。监控流量数据，诊断数据异常，提高业务逻辑，促进产品收入。当用户访问产品/页面时，3.如何做流量数据分析系统，从启动到使用产品等一系列过程都会产生大量的流量数据。流量数据大多是通过埋点报告产生的，通过数据处理和处理形成高质量、易于分析的数据资产，通过数据分析为决策提供数据支持和洞察力。3.1数据生产3.1数据生产3.1.1.业务需求-埋点数据需求组DA学生收到的业务需求往往是“期望使用此功能”等，如果此时只给出一个功能使用紫外线、pv，这还不够，需要全面了解业务需求，并将其抽象为埋点需求。面对“期望使用此功能”的业务需求，需要了解业务的短、中、长期战略，e.g.中长期战略为用户下沉；为什么要推出这个功能；这个功能可能会影响其他功能。了解后，根据业务背景、需求和目的，将其抽象为“埋点需求”。短、中、长期业务战略，e.g.中长期战略为用户下沉，用户下沉分为城市水平和收入金额；推出此功能的原因：为了提高用户粘度，需要监控使用该功能的用户保留和活跃天数。通过对比分析得到与其他功能的差异； 该功能可能会影响其他功能：获取与该功能可能相互排斥的功能点，监控数据性能，避免“业务预期之外”的侵蚀；获取预期补充的功能点，监控数据性能，避免“意外”。3.1.在2埋点设计埋点需求之前，需要了解事件模型（who、when、where、how、what），基于事件模型各方面的描绘埋点。3.1.WHO2.1埋点元素：也就是说，谁参与了这个事件，唯一的标志(设备/用户id)可以是匿名的设备id（idfa\idfv\android_id\imei\cookie）、也可以是后台生成的账户id（user_id,uid）、也可以是其他【唯一标志】。现在很多公司都有自己唯一的设备id(基于某一策略产生的唯一标识)，e.g.阿里有OneId。埋点时，该参数通常使用业务使用的唯一id；在埋点设计文件中，如果没有特殊处理，则无需特别声明。WHEN：也就是事件发生的实际时间。时间点尽可能准确，有利于行为路径分析行为排序，如神策会精确到毫秒。若公司内有SDK统计，且埋点使用，则无需特别说明。WHERE：也就是事件发生的地方。国家、省、城市可以通过ip地址进行分析；如果你想要更详细的数据，如果你想要住宅、商业区等，你需要额外的地理信息数据库来匹配。地点信息和时间信息一样，是每个行为事件都需要报告的信息，基本上是统计SDK的预设字段，不需要特别说明。HOW：也就是说，用户以某种方式完成事件，也可以理解为事件发生时的状态。这包括更多，可以是进入渠道，跳转到上级页面，网络状态（wifi\4g\3g）、相机信息、屏幕信息(长x宽)等。例如，浏览器/应用程序、版本、操作系统类型、操作系统版本和进入渠道通常设置为“预设字段”，无需特别说明。WHAT：也就是说，用户所做的，结合用户行为/操作和业务所需的数据粒度，需要通过埋点尽可能详细地描述行为，这也是埋点设计文档中最重要的部分。如搜索(搜索关键词，搜索类型)、观看(观看类型、观看时间/进度、观看对象(视频id)、购买(商品名称、商品类型、购买数量、购买金额、付款方式)等。3.2.以“启动”事件、“播放”事件为例，2.2埋点示例设计埋点。3.1.以形式开发埋点，支持代码埋点、可视化埋点、全埋点。代码埋点时，客户端或服务端可以埋点；统计SDK，APPSDK、webSDK、SDK小程序、H5SDK等。可视化埋点和全埋点对应的是统计SDK对“某些事件”的自动报告，可以查看埋点开发的历史文章。统计SDK是埋点开发和提高效率的工具，可以填写需要报告的参数。统计SDK的格式大多是基于事件模型，更常见的事件模型可以参考神策分析。3.1.4埋点试验验收需要从逻辑和数据两个方面进行验收，以确保埋点的正确性、顺序性和完整性。正确性：确认数据是否发布，检查上述数据内容格式是否与需求文档一致；顺序：数据报告顺序正确，间接验证埋点代码的正确性；完整性：测试每个场景，确保不同来源和场景的数据报告。埋点平台通常有针对性的测试模块。例如，在umeng可以注册测试设备后，检查埋点的测试数据。埋点启动后，还需要进一步观察数据是否异常。3.2流量数据处理3.2.数据处理后的埋点数据需要保证数据质量的完整性、准确性、一致性和及时性。完整性:完整性是指数据记录和信息是否完整，数据是否缺失，是数据质量最基本的保证；准确性:指数据中记录的信息和数据是否准确，是否有异常或错误的信息；一致性:指数据在多个数据记录中的一致性；及时性:只有保证数据的及时输出，才能体现数据的价值。3.2.2数据模型有埋点数据，通过数据处理，过程不详细。数据标准化后，通常存在三个表：事件表；用户属性表；目标对象表（三个表通常根据事件过程拆分，以提高查询效率）。基于这三个表的查询模型，可以支持一般数据量级的各种分析模型，在超大数据量下降低查询速度。如果需要提高查询速度，则需要通过存储更改查询，如缓存高频查询结果、设置数据加速等。事件表：每个记录描述用户在某个时间点、某个地方以某种方式完成特定事件；用户属性表：主体为用户，每个用户有记录，包括用户属性（包括平台、网络、服务提供商、手机型号、区域等自然属性；以及用户级别、大V等非自然属性）。目标对象表：主体为目标对象，目标对象通常是业务的主要载体，如短视频APP，目标对象为视频（id），相关事件表可以通过目标对象进行分析。3.3流量数据的应用3.3.常用流量分析3.3.1.1事件分析事件分析的常用语言研究了行为事件对产品价值的影响，并通过研究与事件相关的所有因素分析了用户行为事件变化的原因。在日常工作中，经营、市场、产品、数据分析师等不同角色的商务学生往往根据实际工作情况关注不同的事件和相应的指标。例如：上周来自北京的用户拍摄视频的去重用户数是多少？围绕事件表进行事件分析。它描述了用户在某个时间点、某个地方以某种方式完成特定事件。3.3.1.2漏斗分析注重过程，现代营销理念也认为控制过程会控制结果。漏斗分析是一种流程分析，它能反映用户从起点到终点的转换。狭义上，以用户为单位串联步骤，进入后续步骤的用户必须完成漏斗前序步骤。从广义上讲，漏斗分析只是用漏斗的形式来描述，即液体从大口进口，从小口漏出。比如游戏产品用户从激活到购买皮肤:激活app、注册账号，进入游戏，玩游戏，购买皮肤。漏斗分析应用:(1)全过程监控转化过程:对业务流程相对规范、周期长、环节多的流程分析，可以直观发现问题。多维切分发现低转化问题——这里点击广告，所以关注“广告曝光”->点击漏斗分析。（2）通过比较不同渠道的漏斗过程，可以找到最好的广告渠道：如下图所示，百度的整体转化率高于所有6点，质量明显高。当然，在实际场景中，需要结合更多的价值测量标准来筛选高质量的渠道。(3)对不同用户群体的漏斗进行比较分析，从不同角度找到优化点。以新用户的关键行为转换过程为例，通过漏斗分析找出用户群体的差异，然后根据差异进行更细粒度的引导。关键行为的转换漏斗如下：“启动应用程序->登录->进入直播间->直播互动->通过对比查看不同国家，发现中国和整体在后两次转型中的差异大于1%，尤其是进入直播间时->直播互动，当然，差异背后可以进一步洞察，更好地利用这一差异。3.3.1.3保留分析保留分析是一种用于分析用户参与的分析模型，可以有效衡量产品对用户的价值，调查有多少用户会采取后续行为进行初始行为。通过保留分析，延长用户的生命周期，增加每个用户的生命周期价值。对于新用户，可以描述从不文明用户到活跃用户、稳定用户、忠实用户的过程。保留分析可以：（1）了解新用户的同期组上周推出了新版本，旨在提高新用户的保留率。通过比较同期组在线前的保留性能，发现新版本并没有明显改善。(2)找到目标用户长期保留的用户是忠实度较高的用户。另一方面，他们可以通过分析用户属性来获得“什么样的”用户，他们可以更好地保留自己。(3)从用户的角度找到同一批用户的核心价值，经过什么样的行为，保留得到了提升。在衡量用户粘度时，还需要结合用户访问天数（在一定周期内）保留相同的工具和内容产品。通常，工具用户访问天数低于内容。3.3.根据用户的使用过程和频率，1.4路径分析app日志可以呈现“清晰”的用户现有路径。通过路径的指标性能，发现路径问题，使用户能够尽可能短地体验产品的核心价值。路径分析可以:(1)在路径分析中，经常会发现产品/运营设计以外的使用路径，尤其是大型产品。产品和操作都知道自己负责的模块，与其他模块的合作过程模糊甚至不清楚。此时的第一反应是“用户的真实操作是这样的吗？怎么会超越我目前对自己产品的认知？基于事件的事序数据显示将能够解决这个问题。(2)找到关键路径上的用户群体进行多维切分:如上所示，A->谁是B路径的用户？它们在相应的时间点是如何使用产品的，在什么样的网络条件下？（3）此外，路径分析还可以用来显示用户流量，有多少用户失去了A行为，有多少用户操作了其他行为，其他行为的比例是多少？3.3.报表流量数据大多以报表的形式显示。清晰显示关键数据，完整描述数据故事，往往对看板制作要求较高。流量数据具有标准的数据结构，通过沉淀常用数据数据分析模型的图表，帮助提高流量数据看板生产效率，快速形成看板。3.3.3 行为标签行为标签数据是用户肖像和用户群的基本数据，流量数据是行为标签的主要数据来源。由于处理方法的不同，行为标签可分为以下几种：事实标签：又称规则标签，是基于用户行为数据和规则的标签，e.g.无效用户-“APP启动后未使用核心功能”；新用户-“7天内新增”；模型标签：是通过数据模型获得的标签，e.g.高消费能力；预测标签：与模型标签一样，也是通过模型获得的，但不同的是，预测标签是对未来的预测，e.g.潜在用户流失。