如何构建企业的数据分析能力？

大家好，我是饼干君。我今天想和大家分享的是:如何构建企业的数据分析能力，在讲解之前，先和大家分享一下我遇到的企业情况:例1：A企业有BI系统，但由于施工时间较早，BI只显示报告。业务营销人员每次分析都要写提数申请，分析周期很长；例2：B企业有各种生产经营系统中的数据，但没有BI系统，因此计划建设BI，形成统一的数据平台；例3：C企业在农牧业行业，虽然一些日常生产过程也是机械化的，但大多数时候生产数据无法保留，但他们想知道企业的运营效率；以上是我经常看到的三种数据水平的企业类型。他们的情况不同，但他们的想法非常相似。我认为最后一套数据分析系统可以解决我的分析问题。因此，我希望向不了解数据分析系统建设的朋友解释：数据分析包括什么？因此，我希望向不了解数据分析系统建设的朋友解释一下：数据分析包括什么？从完成数据采集到制作数据产品有多远？ok，我们开始进入主题。今天我给大家讲解的内容主要有两部分。首先，解释数据分析对企业来说是什么？影响因素大概是什么？第二，说明企业要想建立自己的数据分析能力，就必须经历一系列的步骤。1、什么是数据分析？什么是数据分析？数据分析是企业的一种能力；数据分析本身就是一个过程；数据分析的本质是一种思想。简单地说，企业使用数据分析方法提取数据中的信息，并将其整理成指导企业管理的知识和智慧的过程。因此，企业利用这一过程的成熟度决定了企业使用数据的有效性。影响这一过程的因素有四个：1、技术和方法：如信息采集技术、数据库架构、数据处理技术、算法、可视化等。在很大程度上，技术水平和分析方法会从根本上限制或改变信息提取过程——这就是为什么大数据在分布式存储、计算和云技术成熟后开始如此流行（由于互联网、大数据等技术的成熟，数据信息呈现井喷式增长，人们对数据的理解也越来越重要)；2、数据的应用:具体来说，是我们分析中的粒度水平、排列组合、数据描述的时间、地点、人物、内容、渠道、方式、情节等信息。更准确地说，一个企业、一个行业甚至整个社会对数据应用场景的理解有多深，使用范围有多广，决定了你的数据影响力的程度；3、商业模式：简单地说，我们如何用数据赚钱，这是一个必须在市场上反映和发挥作用的因素。良好的商业模式可以为行业、跨行业的数据应用和数据产品提供良好的商业环境，帮助它成长；坏的商业模式也可能破坏好的数据产品；4、制度和规则：制度和规则既有国家级的，如数据安全法规；还有行业规则、企业内部制度等。这些系统和规则确保数据可以在需要和正确的地方使用，而不是滥用（在某种程度上，缺乏系统和规则也是数据安全和行业数据标准混乱的主要原因）。这些系统和规则确保数据可以在需要和正确的地方使用，而不是滥用（在某种程度上，缺乏系统和规则也是数据安全问题和行业数据标准混乱的主要原因）。由于数据分析是从数据中提取信息和智能的过程，企业要完成这个过程需要多少步骤？2、个人认为，企业的数据分析能力水平可分为七个层次：基础IT系统建设、数据集中和标准化处理、数据报告和可视化、日常产品和运营分析、精细运营管理、数据产品输出和实现、数据战略的形成。个人水平有限，最终的数据策略从未接触过，这里就不详细说明了。一些同行可能不同意金字塔的水平，大多数专家也认为这些部分是水平关系，——我列出只是为了解释“做每个水平，以下内容是支持这些水平的必要条件”（实际上存在“数据产品已经完成在线，但数据可视化仍处于需要手动完成报告的阶段”）。这张照片的左边是我认为的七个层次，右边是我给出的各个层次的例子。让我们详细谈谈每个层次的含义。(1)基础IT系统的底层是“基础IT系统”，其最重要的作用是完成“数据采集”。这里主要是指我们各企业在实际生产中使用的软件系统及其配套硬件设备，如抓取网页数据代码、医院医疗影像设备等传感器、探测器等。正是因为这些基本的IT系统(包括软件和硬件)，我们才能数字化、测量生活中的一切~有些企业无法保留基本的生产数据。即使在这一层，系统也没有完善。（2）在“数据集中与标准化”的层面上，我们需要实现数据集中管理与集成，打破数据障碍，使数据能够在企业中正常流动。您可以简单地理解，我们想在这一层完成企业数据库架构的建设。因此，这一层的工作不仅仅是“数据集中”和“数据标准化”，还包括：数据提取、数据清理、数据集成、数据处理、数据库逻辑建设、数据逐层汇总统计等，涉及ETL、分布式存储建设、数据处理技术、数据逻辑建模等技术内容。想了解具体内容和技术问题，可以咨询相关数据库厂商，这里就不细说了。如果你想了解具体的内容和技术问题，你可以咨询相关的数据库制造商，这里不再详细说明。我们需要记住的是，在这个层面上解决的问题是：将系统收集到的内容转换为人类可以理解的数据内容，主要有两个方面：一是清理原始数据，使其完整、清洁、无杂质；二是将收集到的一些编码信息转换为可理解的文本、数字和其他数据。另外，我在图片中强调了数据关联的意义，因为在大多数实体行业，企业内部数据孤岛的问题比较严重。因此，现阶段很多企业首先要解决的问题是打通企业内部数据，解决数据关联，使数据在企业内有效运行。此外，在引入第三方数据后，如何与企业内部数据集成也是一个问题。(3)数据报表和可视化解决了数据关联和标准化的问题后，我们下一步要解决的问题是:如何让大家看到数据？在可视化技术蓬勃发展之前，我们使用更多的数据报表获取数据，然后离线绘制分析图表；目前市场上大量的可视化工具帮助企业直接在IT系统上呈现数据的统计结果、图形图表和分析结果。随着数据图形显示技术的发展，数据可视化不仅具有显示数据的功能，还将多种分析方法、维度、风格与分析逻辑相结合，以更生动、更贴近业务应用场景的方式向用户显示数据要表达的现象或问题。要实现数据可视化，不仅要实现可视化工具，还要求用户对数据背后的业务逻辑、图形意义等内容有深刻的理解。相信很多企业都在使用各种可视化工具，对吧？但是很多企业还是会问，我的XX业务应该怎么做图表？事实上，这是因为企业没有清楚地梳理业务背后的业务流程和业务逻辑，所以他们不知道如何从“基本IT系统”分析到“数据报告和可视化”。前三个层次是完成数据分析的基础。对于一个企业来说，完成这三个层次的方式可以是手工、本地系统或云。只有具备上述三个层次的能力，才能说企业在使用数据指导运营、决策和管理方面迈出了第一步。在完成数据并查看数据后，我们需要做的是分析数据和应用数据。（4）产品和运营分析的日常产品和运营分析是所有分析甚至挖掘的基础。没有这些基本分析，就无法谈论标签库、精细营销、挖掘建模等后续工作。这个层次有三个主要功能:1、解决日常操作和监控需求；2、深入分析用户、市场、产品等要素的特点；3、指导产品和运营，分析结果。让我们分别解释一下：首先，在日常数据监控中，数据的变化是什么？影响因素和后果的原因是业务人员在日常数据监控过程中需要分析和解决的问题，这也是我们了解市场、用户等因素的入口；其次，当日常分析成为日常工作的一部分时，企业的产品和业务人员会发现简单的日常分析无法解释许多复杂的现象和问题，这就需要对用户、产品、渠道、市场、需求等进行深入的分析和研究。在这个过程中，出现了许多针对具体业务情况的分析主题和分析模型，以帮助企业更好地了解我们的市场，抓住客户和潜在的商机。在这个过程中，出现了许多针对具体业务情况的分析主题和分析模型，以帮助企业更好地了解我们的市场，抓住客户和潜在的商机。最具代表性的例子是“用户肖像”（网上有很多关于用户肖像的文章，这里不再详细说明）。最后，根据日常分析和各种深入分析的结论，我们可以知道营业厅开发的用户质量很差，需要验证这些用户行为的真实性；在XX链接中，劳动力耗时较长，需要查看是需要改进链接技术，还是存在其他问题。数据中反映的各种问题最终将归因于各种管理、运营、营销等问题，指导业务人员查找、修改甚至重构具体的业务内容，即指导工作。正如我们之前的分享所提到的，客户肖像等工具是精确操作的基础，对吗？正如我们之前的分享所提到的，客户肖像等工具是精确操作的基础，对吧？因此，在完成日常产品和运营分析后，我们的管理进入（5）精细运营管理。我在图片中提到了一个常见的电子商务精细营销场景，你可以体验到它与统一营销的区别。积累在“产品与运营分析”层面的分析思路和方法大多是分散的、点状的。当这种深入的分析逐渐总结出来时，企业内部就会形成一套完整的分析体系，这是精细管理的基础。在“精细操作”层面，所有分析不再相互孤立，而是更多地基于实际业务场景。在这个场景中，数据指导用于完成从“感知识别和目标筛选用户”到“营销适应和实施反馈”的整个过程。在这个场景中，每个用户的营销组合是不同的，以实现场景中的精细管理。当然，这个过程不能只有一个分析系统来完成，它需要CRM、在分析系统、营销系统、执行渠道等过程中，所有系统都相互协调、共同完成。在这个过程中，数据分析能力不仅仅是在数据分析系统中，所有的识别、计算、匹配等分析能力都将分布在过程的各个环节，共同构成一个精细的操作管理系统，人们已经成为该系统中的一个节点。此外，结合多个业务场景下的数据驱动过程，形成了“用户生命周期管理”等、“会员操作系统”、这种应用场景集合。这些集合在企业的各个领域，支撑着企业的主要经营管理工作。对于一些企业来说，实现这一水平基本上足以满足其精细管理的需要，但现在互联网 在这种背景下，用数据描述我们日常生活的全部内容已经成为业界的共识，所以很多企业也开始让自己的数据走出企业。这就是我们能看到的。(6)数据产品数据产品种类繁多。从实体行业企业内部数据运营的角度来看，实现价值的数据产品的形成不是企业数据能力建设的最终目标，而是实现企业内部数据价值的途径之一。大多数时候，企业内部数据能力发展到一定阶段，部分数据和分析方法具有独立实现的条件，因此企业作为一种产品提供市场，形成所谓的数据产品，如：以具体数据内容、系统分析计算系统、分析解决方案等形式的数据交易形式，是可能的数据产品形式。无论产品形式如何，都离不开适当的商业模式，必要的商业模式也是保证数据市场安全高效运行的必要条件。良好的商业模式可以促进数据的有效使用，而不恰当的商业模式可能会加速企业的衰落。此外，许多企业在数据能力建设之初总是抱怨“数据分析是一项成本高、无效的工作”，因此在建设过程中并不活跃。然而，当企业能够将其内部数据甚至数据能力作为商品或服务直接在市场上销售时，这种能力的价值将直接显现出来，其价值将远远超出建设之初的想象，以上是我对企业数据能力建设的理解。谢谢~主持人：感谢饼干君@饼干君 精彩的分享。近年来，国内传统企业是一个非常庞大的领域。他们的信息化建设与互联网接轨速度非常快。国内传统企业是非常庞大的一部分。近年来，他们的信息化建设与互联网接轨速度非常快。虽然存在先天性缺陷，但现在正在蓬勃发展。没有他们的参与，全民BI怎么能不参与呢？传统企业大数据事业的兴起，重点是你、我、他...感谢您的参与。你可以自由讨论。如果你有任何问题，你可以自由问饼干君。问题1：建立这个数据系统需要多少团队？饼干君:很难说需要多少团队，要看需求是什么样的，数据系统的基础是什么样的，底层数据库是否建成好，都需要前期调查。如果你有确切的需要，可以联系我。问题2：请问@饼干君，如何学习个人基础薄弱的数据挖掘和数据分析？饼干君:学习数据挖掘，需要知道自己的数学基础好不好，水平是什么，才能判断自己需要做什么。数据挖掘有很多内容，无论是文本挖掘还是机器学习，还是业务应用建模。需要根据背景来确定。问题3：@饼干君企业在中国将数据分析交给第三方大数据公司的情况如何，有哪些有代表性的公司？饼干君：比如电信行业比较多，运营商自己做数据分析比较少，都是找乙方的数据分数