有必要创建数据仓库吗？核心内容怎么理解？

在我之前的一些博客中，我提到了生成认知的必要性和重要性，并提供了认知应用的例子。我一直认为认知应用是公司通过挖掘大数据来改进决策和解决重要问题的关键。为了更好地理解和理解开发此类应用程序的必要性，考虑大数据领域正在发生什么，并评估我们在商业智能系统中的经验，以及如何驱动我们理解认知应用程序是非常重要的。由于我认为认知应用程序是大数据开发的下一个转折点（见最近使用IBMWatson平台建立的此类应用程序的例子），我将在一系列博客中进一步讨论这个话题。在这个博客中，我观察了过去25年数据分析的演变。，特别是当我们进入大数据时代时，开发认知应用是不可避免的。在第二个博客中，我将更详细地描述这些应用程序，并提供一些例子。在最后的第三篇博客中，我将讨论投资者对认知应用的兴趣，并描述我最近对这一领域初创公司的投资。在这些博客中，我的分析和理解是基于我作为一名30多年的企业家、应用创业公司的创始人和在这一领域投资15年的风险投资者的经验。在过去的25年里，随着数据量在过去25年中的显著增加，决策制定的数据理解由创建数据仓库和理解数据仓库内容两个步骤组成。数据仓库及其前身-企业数据仓库、数据市场等，是构建专业数据库所必需的基础设施。这些数据可能来自一个单独的数据源（例如，客户关系管理应用程序的数据库）或一系列集成的不同数据源（例如，集成客户关系管理应用程序的数据库和包含每个客户的社交媒体交互数据的数据库）。这些数据可能是结构化的（例如，货币被描述为每个用户支付的数量）、非结构化(例如，客户与服务专家之间的交互内容以文本形式进行)。专业数据是人工描述的，一旦被捕获，就是干净、有标签、自动或被(比人们认为更频繁)。在过去的几年里，我们使用了大量的开源软件、云计算和商业硬件来降低数据仓库的成本，并进一步提高了我们管理更多样化、大量和快速生成数据的能力。我们已经从只有金融服务的花旗银行、零售业的沃尔玛等大公司才能负担得起的数据仓库转变为中小企业负担得起的数据仓库。最近，亚马逊的Redshift、谷歌的BigQuery甚至微软的Azure等低成本服务提供商都将数据仓库转移到云上。最后，数据仓库对于普通企业来说是可用的。随着数据仓库的兴起，数据分析报告的交付从打印到数据理解的第二步涉及通过数据分析理解数据仓库的内容。在商业环境中，这通常是通过报告和相关的可视化来完成的，有时使用更定制的可视化和神经网络等机器学习算法（虽然机器学习不是一个新概念，但几乎从数据仓库作为数据存储和管理工具开始）。随着数据仓库被更多来自各行各业的公司采用，我们见证了可创建的报告形式的逐渐变化，向分析师和决策者和准备报告的人展示了报告。在早期(80年代末90年代初)，技术专员创建了商业智能报告，他们还通过向数据仓库提供函数和查询来获得报告。这些报告被封装(例如，它们可以修改，但它们非常困难，只能由创建报告的同一技术人员修改)，并在计算机打印纸上显示。后来，尽管这些报告仍然被包装，但它们可以通过特殊的报告程序在计算机上呈现，然后在包括智能手机和手持终端在内的网络浏览器上呈现。近年来，查询创建和报告写作的任务从技术专员转移到商业用户。然而，尽管查询和相关报告变得更快、更灵活、更广泛，但这些报告的主要用户商业分析师仍然困扰着在大量信息中发现的最简单的模式。最重要的是，这些用户纠结于根据报告中包含的信息决定采取什么行动(见图1的例子)。随着更多数据的出现，我们可以更有效地管理数据带来的成本，但我们仍在努力进行有效的数据分析，受到全球因特网的普及。它带来的网络连接驱动，物联网等新领域前所未有的海量数据，以及基于这些创建的大量应用，使我们被数据淹没。快速数据和慢数据、简单数据和复杂数据都是前所未有的。数据量变了多少？从2014年生成约5泽字节的非结构化数据到2020年将增加到约40泽字节的非结构化数据(见图2)。特别是在过去的十年里，随着数据量的增加，企业的IT战略核心变成了用很少的资源做更多的事情。该公司的数据仓库开始面临两大问题。首先，一些系统无法有效地管理获得的海量数据，因此数据无法有效地应用。第二，成本变得难以承受，成为数据管理的另一大挑战。与此同时，当谷歌、雅虎等重量级科技公司开发出新一代数据管理软件时，一些“部分”解决方案开始出现。起初，这些软件在商业硬件上运行，并迅速开源，使企业能够以较低的成本解决其大数据问题。Cloudera,Hortonworks等提供开源软件服务的公司在大数据基础设施领域发挥了重要作用。我称这些解决方案为“部分”，因为在管理数据的同时，这些系统不包括企业使用的数据仓库系统的复杂和特殊功能。然而，这些新系统擅长构建适合多元化大数据环境的数据湖，并旨在通过更低的成本替代或增强某些类型的数据仓库。虽然我们有效管理大数据费用的能力有所提高，但我们分析数据的能力，无论费用如何，都没有提高。虽然大众媒体声称从数据中获得的认知结果将是新的石油（或黄金，选择你喜欢的隐喻），但市场研究公司IDC预测，到2020年，只有少数数数据将被分析。我们需要分析更多的数据，并从中提取更多的信息。我们致力于提高我们分析数据的能力，但我们面临着数据专业人员的短缺。为了收集和分析更多的数据，不放弃报告的生成，我们开始广泛使用基于人工智能数据分析技术的机器学习和其他自动化信息提取方法。然而，这些方法需要一种新的专业人士——数据科学家。虽然我们看到数据科学家的数量在飙升，但我们需要更多，我们永远无法提供足够的数据科学家，而不是生成的数据。麦肯锡（http://synapsepartners.co/ideas/)据估计，到2018年，美国将面临人才缺口(约14万至19万)，这些人有深入的分析技能，可以从收集的数据中提取认知结果。我们还将缺乏能够基于数据科学家生成的大数据分析来做出重要业务决策的经理，他们拥有大约150万的量化分析技能。机器学习提高了我们发现数据中相关性的能力，但做出决策的时间缩短了，数据生成的速度提高了商业智能，这是近40年来出现的一个领域。使用统计分析和机器学习技术的时间更长。在此期间，我们提高了从数据集中识别相关性的能力，但做出决策的时间要求越来越短，数据生成的速度越来越快。例如，该公司的首席财务官可能有一个月的时间来创建财务预测，但一个自动在线广告平台只有10毫秒来决定向特定用户展示哪个数字广告（见图3）。此外，首席财务官只能通过参考数十亿字节的数据来做出决定，而在线广告系统必须分析数十亿字节的数据，其中大部分数据几乎是实时生成的。对于决策来说，在某些应用领域，简单地识别数据集中的相关性就足够了。在一些高价值、高投资回报的领域，通过数据科学家和其他专业人士从大量数据中提取信息是合理和必要的。计算机安全威胁检测和信用卡欺诈检测是两个领域。在这些领域，做出决定的时间很短，做出错误决定(过于保守)的代价至少不是很高。将交易视为欺诈或行为视为安全入侵的成本也很低（如持卡人的不便或系统管理员的一些在线证据收集）。然而，在已建立的行为模式中未检测到异常的成本将更高。为了跟上大数据的步伐，提高我们对信息的使用，我们需要能够快速廉价地提取相关性，并将其与行动相关的应用程序考虑到预期数据科学家和具有定量分析能力的商业用户的短缺，以及我们迫切需要继续挖掘收集到的大量数据，我们需要能够更好地开发分析应用程序，使其能够生成认知并与行动相关。这种类型的应用，我称之为认知应用，比从数据中提取相关性要好得多。我们在数据理解方面取得了很大进展。我们降低了管理大数据的成本，提高了我们分析和提取关键信息的能力。但大数据的增长速度如此之快，以至于我们无法通过更快或更灵活的查询和报告跟上步伐。特别是通过使用认知应用，我们需要能够创造廉价快速的可执行认知能力。