企业为什么要自主研发内部取数工具？

写了一篇文章“为什么BI取数这么难？》，今日来谈谈如何打造一个自助取数平台，只是一家之言，欢迎拍砖。第一，自助取数平台很难买到。也就是说，你很难找到符合你企业要求的通用产品，比如BAT等企业内部的自助取数工具，一般都是自己开发的。为什么呢？首先，自助取数是一种非常重视数据处理的工具。它不仅需要一个可视化的皮肤，还需要根据企业的现状提供数据解决方案，即数据和功能紧密耦合。许多功能需要根据数据的特点定制。例如，我的企业有一个数百亿的HBASE指标库，自助取数产品需要基于这个引擎，如何选择？第二，BI产品越垂直，到达客户操作层，操作更难抽象，报告可视化行业可能有一些操作规则，只是选择维度和指标，但如何选择方法没有固定的常规，它写、阅读、查询和分析，一个词：复杂。第三，自助取数受企业业务特点影响太大。有的企业主要是单级相关取数，有的企业主要是复杂的总结分析取数。有的企业逻辑简单，但查询速度要求很高。不同的业务需求可能对自助取数引擎有很大的不同要求，只有根据企业的特点才能得到妥协。第四，自助取数迭代要求高，企业数据和分析成千上万，取数元素必须不断更新。这个工具显然需要持续运行，产品化的东西很难跟上。换句话说，淘宝魔方本质上也是一个自助取数平台，但这个能买到吗？其实很难抽象成普通产品，只适合电商，甚至淘宝。事实上，可以比较为什么这么多行业需要建立自己的客户关系管理系统。市场上不是有很多客户关系管理产品吗？自助取数的原理与之相同。如果没有包装世界的客户关系管理，就没有包装世界的客户关系管理工具。此外，数据的维度组合是无限的，客户关系管理的功能是有限的。BI自助取数要么是自主研发，要么是定制开发，很难指望一个通用产品能够真正满足要求，这取决于它的特点。其次，一定要做好自助取数的可行性判断。自助取数可以完全取代人，不可能思考。例如，市场综合分析师的分析取数要求涉及复杂的关联和跟踪操作。自助取数很难支持。即使勉强支持，也会导致功能极其复杂，体验极度下降。数字有一个特点，越偏向管理，越难取，规则越不抽象。比如一般数字的难度排名如下:老板-领导-主管-分析-营销-执行。原因很简单，层次越高，人的自主性越大，越不可预测。如果你抓住了老板怎么想的规则，就不要玩了。因此，自助取数实际上只能解决一些问题，是否有价值，是否值得做，这需要提前进行客观的评估。幸运的是，一个企业的数量往往占总数的大部分，这为特定企业自助数量工具的成功奠定了基础。比如一些运营商，一线简单的营销清单数量，规则比较简单，占总数量的60%到80%。大多数时候，这些数量仍然是由IT支持人员编写的。效率可想而知，这使得自助数量工具有用。因此，自助取数也是一种时代造就英雄的感觉。如果你不在那个行业，没有这样的条件，不要轻易启动自助取数项目。第三，分析自助取数需求，这决定了工具的成败。需求分析是一项非常困难的工作，有两项最重要的工作，一项是数据需求分析，另一项是功能分析。对于数据分析，有必要系统地分析历史工单，至少可以得出以下结论：字段属性排名和选择、模型分析和选择。要做到这一点，我们需要对企业的业务和数据有一个全面和深入的了解。本质上，自助取数是面向业务的，而不是纯技术工作，这也是自助取数难以产品化的原因。特别是，理论上制作大宽表是最好的体验，但由于维度的限制，这是不可能的。因此，数据建模师非常重要。设计需要实现高性价比。为了满足数字的特点，甚至需要创建一套新的数据模型。该功能需要调查，类似于产品的设计，必须去一线了解需要哪些功能，如何设计最佳的配置方法，如何方便找到相关模型，如何做好业务和数据映射，如何方便相关，如何方便选择属性，如何方便在线分析，如何方便调度和监控，如何方便导入导出数据，如何自动连接现有的数字过程，如何进行SQL分析，是否需要建立一个数字社区等等。下图为系统架构的示例，供参考。下图是系统架构的示例，供参考。最后要做高保真设计，让业务人员试用，一定要简单简单。最好不要参加培训。您可以将其设计为四步或五步。步数越多，工具的使用门槛就会大大提高。例如，第一步是填写基本信息：填写取数的基本信息，包括业务目的、业务口径等信息。第二步，选择合适的取数模型:可以通过标签和搜索从取数模型库中选择合适的模型。第三步，数字模型配置：数字模型的配置主要包括三个方面，一是模型输出结果的检查，二是业务筛选条件的配置，三是外部数据的配置，允许导入外部数据，并特别删除数字结果。第四步:模型间组合(可选)：选择两个以上的模型，可以通过拖动自由组合模型。第五步，执行取数任务：在配置数据的区域和时间范围后，可以提交取数。取数模型选择取数任务执行第四，操作是临门一脚，业务人员不是一张白纸。作为企业的基本工作，传统的数量方法和过程已成为常规。自助数量工具作为一种新的支持手段，是对传统方法的挑战。无论产品有多好，它都需要做好内部运营和推广工作。研发的自助取数机器人曾被称为取数机器人，强调其自动化的特点。口号是“完全自助，永远在线，极简主义控制，知识共享”。事实上，许多企业业务人员提出数量需求的成本并不高，数量也是企业的刚性成本投资。改变过程和习惯并不容易，这更考验了产品的能力。此外，与一般企业的生产系统不同，自助取数不是必要的。人工取数是其最大的竞争对手，需要接受业务人员最挑剔的愿景。即使做了很多企业内部推广，仍有很多一线单位没有使用，原因是工具不好到一定程度，二是缺乏持续的运营推广，三是企业劳动力成本太低，如果虚拟结算估计会好得多，哈哈。第五，不同的企业可能会有不同的效果，但成功仍然是可以期待的。当然，操作的效果还是要数据说话，说什么都是空的，可以看出后续自助的比例稳定在50%左右。很多企业能达到80%以上，这也是非常令人羡慕的。同时，发现自助取数一旦实用，往往会极大地刺激潜在的取数需求，这对公司来说是一件好事，表明原来的手动取数方法抑制了大量的数据需求，信息技术确实是生产力，间接降低了我们分析和迭代的成本。自助取数的速度取决于所使用的技术引擎和取数的复杂性，通常可以达到小时或半小时，远低于传统的按天手动取数周期。同时，自助取数的自然优势在于永远在线，口径标准化，知识传承，错误少。第六，给用户足够的自主权。自助数最大的变量是业务，业务会带来数据模型的快速变化，因此需要提供一线用户的模型自主权，因此，即使项目早期做了大量的数据研究，也必须能够让一线人员定制模型表，这也是一种开放的思维。事实上，自助取数演变至今，一线专业人员自主开发配置的模型已占60%以上。所以，我们需要做这个发动机，一旦自助取数工具能启动，也许，星星之火，就能燎原。当然，自助取数工具还有很多问题需要不断解决。自助取数强调相关查询的实时分析能力。原来的自助取数工具是基于IOE的。显然，这种性能瓶颈很难解决，包括在线和实时计算分析能力，这给用户体验带来了极大的困惑。对于自助取数，平均半小时显然太长。因此，我羡慕BAT。与传统企业相比，它仍然可以通过技术自主创新领先一步。我们正在努力寻找淘宝魔方等所见即所得的取数方法，这显然很难购买产品。当然，如果制造商能够解决我上面提到的问题，也许不一定能够创建一个通用的PaaS计数平台，但我相信它必须是一个集成的解决方案，而不是一个轻量级的工具。所以想到大数据，最近也在考虑MPP等数据库替代方案，比如GBASE。、EXDATA应该更好，但显然无法达到实时水平。也许IMPALA/SPARK也可以尝试一下。无论如何，如果自助取数可以移植到大数据平台上，仍然可以大大提高企业的数据生产力。需要承认的是，目前的自助取数工具可能支持清单级的取数，但汇总分析类的取数支持难度更大，因为一旦分析表太复杂，自助配置的复杂性也会达到一个量级，这就失去了自助的意义。也许，没有完美的自助数据。直接向业务人员打开最终数据可能是最终的解决方案。无论工具或产品有多棒，它们也需要在无限的数据形式面前妥协。在大数据时代，机会无处不在，自助取数还是要继续加油！