企业该如何清晰地打造自己的数据体系？

正文:本文讲的是“不知道该分析什么”的问题。第一篇文章更微观，从个人分析师的角度来看，更宏观，从公司层面来解释。和“不知道怎么分析”一样，“不知道该分析什么”也是很多人经常问的问题之一。事实上，如果你知道这个方法，虽然它不能在一夜之间实现，但你也可以清楚地知道如何逐步建立自己的数据系统路径。与第一篇文章一样，本文将用最简单、最简单的语言来解释数据系统构建的路径。简单来说，就是先梳理数据指标系统，然后落地到BI系统(商业智能，其实叫商业智能更合适)。备注:欢迎回顾作者《大道至简数据分析方法论》第一篇文章《数据操作方法论系列》。作者总结了一套易学易用的数据分析方法论，使初学者能够快速掌握数据分析方法中最核心、最常用的要点。（本文的官方链接是：从大道到简单的数据分析方法）1。从上到下梳理数据指标系统1。确定目标是首先要问自己的问题。做数据分析需要付出很大的努力。最后的目的是什么？假如这个都没想清楚，那么数据系统肯定是无从下手的。是想提高用户活动，增加用户，增加销量，还是其他目标？这样想，好像我都想要。大家都希望没有问题，但会让工作的界限无限蔓延，导致事情无法推进。因此，我们应该从最关心的目标/KPI开始。那么，我们最关心的目标是什么问题呢？对于不同领域、不同阶段的公司和不同角色的用户来说，这个问题的答案是不同的：对于许多公司老板来说，利润是他们最关心的目标；对于非销售产品/服务的公司或政府来说，客户满意度可能是最受关注的目标；对于交易平台公司或早期电子商务公司来说，利润不是重点，交易量是最受关注的目标。最关心的目标已经完成，下面能解决所有想要的问题吗？不是这样。大数据带来的最大误解是数据量和字段越多越好。然而，当我们真正解决具体的业务问题时，我们必须从大数据的全集中切割相关的子集。对于单个人来说，无论是老板还是执行层，目标/KPI都不应该太受关注。同时看几十个KPI，想象一下会晕倒，耗时。但是，对于企业来说，确实有很多KPI是非常重要的。该怎么办？它可以分解为多个人，即不同的角色一起工作，每个角色都关注自己的目标，所有的角色都是公司所有目标/KPI的全集。假设老板最关心的目标是利润，利润=收入-成本，这个目标可以分解为销售总监关注收入，运营总监关注成本。当然，这并不是说老板不能看收入，而是把定期关注的目标锁定在一个可行的范围内。2.确定了分解指标的目标，下一步是分解相关指标。对于目标，需要什么指标来监控或分析才能达到目标？比如利润，相关指标就是收入和成本，当然这个太粗了，收入有哪些种类，成本有哪些种类，都要考虑进去。例如，对于零售业的销售额，可分为客流量、进店率、购买率、客户单价、回购率等。因此，分解的方法有很多，需要遵循MECE原则(完全贫穷，相互独立)。3.详细说明字段对指标的计算公式，涉及哪些字段，分别在哪些库中，是否需要数据清洗，清洗规则是什么等。例如，购买率是通过公式“购买者/进入商店的人数”计算出来的，购买者的数量是通过计算“客户ID”计算出来的。这些指标涉及的字段对应于数据库中哪个表中哪个字段，需要梳理清楚，这部分需要IT人员或数据库管理员的介入和配合。4.完成上述非功能需求的第三步后，我们实际上梳理了指标系统并可以实施。然而，为了使最终形成的数据系统更加完整、友好和可用，我们还需要梳理一些非功能需求。UI：喜欢什么样的显示风格并不重要，但事实上，用户每天都在处理数据系统，美丽和体验良好的系统UI会让用户更喜欢它。页面流程：在同一报告页面上放置哪些相关指标，页面之间的层次关系如何，用户如何在页面之间跳转。权限:需要统一的权限控制，避免数据安全问题，谁能看到哪些数据范围，谁能看到哪些字段和指标。ETL：从数据源同步到分析系统的频率和规则。集成：是否需要在界面、预警信息等方面与其他系统集成。性能：看不见摸不着，但直接决定了系统的可用性。如果数据量大，需要几分钟甚至几十分钟才能看到结果，我相信没有人愿意使用这个系统。5.系统实施上述四项后，我们可以在数据操作系统中形成“数据操作系统需求文档/实施方案”，然后根据报告页面的数量和数据准备的复杂性确定工作量和时间计划。二．从下到上实施到BI系统1。根据需求文档/实施计划，连接数据逐步构建系统。有的企业称之为大数据平台，有的企业称之为BI系统。大数据平台的范围会更广，但是对于企业数据运营来说，BI必须是核心组成部分。然后，系统建设的第一步是连接每个数据源，开辟与每个数据源之间的通道，无论是基于永宏科技等第三方工具的开发还是快速实施。在企业中，数据环境往往是异构的。数据源可能包括数据库、Hadoop系列平台、Excel文件、日志文件、NoSQL数据库、第三方接口等，需要快速友好地连接每个数据源。最后，我们可以在系统中看到所需数据源中的所有表格和字段。2.数据处理数据源中的数据往往或多或少不规范，如重复记录、遗漏空值、明显不合理的异常值（如2020年的交易订单）、系统中同一事物的多个名称。如果这些数据不做一些处理或清理工作，会对分析的准确性产生很大的影响，所以需要做一些预处理。这个过程往往是最耗时、最枯燥的，但也很重要。作者提醒:这一环节的问题将在下一篇文章《大道至简数据治理方法论》中进行深入探讨。3.数据建模数据处理好了，下一步就要做数据建模了。说到建模，非技术背景的用户都很害怕，觉得深不可理解。其实建模是什么？简单地说，将多个表连接在一起是一个数据模型。例如，公司进行绩效分析，需要员工服务年限、教育、项目数量、项目金额、项目利润率等指标，包括服务年限、个人信息表、项目数量、项目金额、项目利润率、财务表，三个表有共同字段“员工编号”，通过这个字段连接三个表，这是一个数据模型，一个绩效分析主题数据模型。4.基于建立的数据模型，我们可以开始制作数据报告。数据模型提供基本数据和字段，根据需要以公式组合，以适当的图表类型显示，并将相关指标放置在同一报告页面上，以配置页面之间的层次关系和跳转关系。以下是基于永宏科技一站式大数据分析平台制作的Demo。5.经过第四步，我们的数据系统已经基本形成了非功能需求，剩下的就是实现上述各种非功能需求。这样，一个完整、友好、可用的数据操作系统就上线了。在线不是工作的终点。业务需求将随时发生变化或增加，需要快速迭代和调整。数据处理、建模、数据报告制作等操作需要高度工具化，以确保灵活和可配置。与自主开发相比，第三方工具的优势在这一点上尤为明显。归根结底，做数据的目的要么是提高管理(节流)，要么是业务创新(开源)。系统化的数据系统将是数据操作的核心支柱。