关于大数据挖掘，BAT三大巨头已出发。

概念、模式和理论都很重要，但在互联网领域，行动是最好的答案。BAT是国内三大互联网巨头，拥有数据金矿，已经踏上了大数据掘金之路。BAT都是大矿主，但矿山性质不同的数据就像煤矿，里面有能量。煤炭按焦煤、无烟煤、肥煤、贫煤等性质进行分类，而露天煤矿、深山煤矿的挖掘成本则不同。与此类似，大数据不是“大”，而是“有用”。比数量更重要的是价值含量和挖掘成本。百度有两种大数据：用户搜索表征的需求数据；爬虫和阿拉丁获得的公共web数据。阿里巴巴拥有交易数据和信用数据。这两种数据更容易实现和挖掘商业价值。此外，阿里巴巴还通过投资等方式掌握了一些社交数据和移动数据。比如微博和高德。腾讯拥有基于此产生的用户关系数据和社交数据。这些数据可以分析人们的生活和行为，挖掘政治、社会、文化、商业、健康等领域的信息，甚至预测未来。下面，三家公司的情况将逐一扫描和分析。百度：包含数据出生，具有挖掘技术，研究与实用结合搜索巨头百度围绕数据诞生。它通过语义分析对搜索需求的准确理解，对网页数据的爬取、网页内容的组织和分析，然后从海量数据中找到结果，以及准确的搜索引擎关键词广告，本质上是数据获取、组织、分析和挖掘的过程。除网页外，百度还通过阿拉丁计划吸收第三方数据，通过业务手段与食品药品监督管理局等部门合作获取封闭数据。然而，尽管百度拥有核心技术和数据矿山，但它并没有发挥出最大的潜力。百度指数、百度统计等产品是数据挖掘的一些主要应用。与谷歌相比，百度在社交数据、实时数据收集和从数据流通到数据挖掘转换方面有很大的潜力，还有很多事情要做。搜索引擎在大数据时代面临的挑战是：更多的暗网络数据；更多的WEB但没有结构化数据；更多的WEB、结构化但封闭的数据。这些挑战使数据远离传统的搜索引擎。然而，搜索引擎毕竟在大数据方面具有技术沉淀和优势。接下来，百度将为企业提供更多的数据和数据服务。百度在早期阶段与宝洁、平安等公司合作，通过数据结论指导企业推出产品，为消费者提供行为分析和挖掘服务，是基于大数据的典型C2B模式。类似于Netflix的美剧《纸牌屋》，主角凯文·史派西和导演大卫·芬奇都是通过挖掘网络数据来选择的。百度还将利用大数据完成移动互联网的进化。核心研究技术是深度学习。基于大数据的机器学习将提高语音搜索、视觉搜索和自然语言搜索等多媒体搜索效果和智能搜索。这将催生移动互联网革命性产品的出现。虽然百度已经开始了，但大数据上还是有很多事情要做。在数据收集方面，百度需要收集更多高价值的交易、社交和实时数据。比如加强贴吧的社交能力，尽快将地图服务与O2O结合起来，掌握交易数据，推广移动app、数据收集系统，如可穿戴设备。在数据处理技术方面，百度成立了深度学习研究所，加强对人工智能领域的探索，在多媒体和中国自然语言处理领域取得了一些进展；云存储和云计算的基础设施建设也在逐步完善。然而，深度学习仍然是一个巨大的挑战。百度等探索者仍有许多问题需要解决，如无监督学习和三维图像识别。在数据实现方面，百度需要形成标准化的服务和产品，如数据挖掘能力、数据内容聚合和提取，从而开拓大数据领域的企业和开发者市场。而不仅仅是为大型企业提供个性化、定制化的解决方案。百度的优势体现在海量数据、用户行为数据沉淀十多年、自然语言处理能力和深度学习领域的前沿研究上。在技术人才方面，百度是中国大数据相关领域最顶尖的人才聚集公司。听说百度前段时间花了5000万挖掘数据挖掘、自然语言处理、深度学习领域的十几头牛，包括一些学者和教授。比如Facebook科学家徐伟。挖人，舍得花钱不够，还得用心。对于真正的牛来说，钱只是一个影响因素。能否实现自己的梦想，公司的资源能否帮助自己的研究至关重要。回国前，徐伟问了其他从硅谷回国的工程师的意见。答案是积极的，最终促使他做出决定。总的来说，百度拥有大数据和大数据挖掘能力，并正在积极准备和探索。在加强未来研究和人才布局的同时，也注重实用技术产出。二、腾讯：数据用于产品，自产自销微创新提出者金错刀有一个关于腾讯的故事。1999年腾讯成立后不久，天使投资者刘晓松决定向其注资的主要原因之一是他发现，“虽然他们的公司仍然很小，但他们有用户操作的概念，背景记录和分析了用户的每一个行动。另一位投资者对马化腾在公司很小时内花钱的数据表示不满。此后，腾讯的产品生产和运营以及腾讯游戏的兴起都离不开对数据的关注。腾讯拥有社交大数据，完成企鹅帝国数据的制造、流通、消费和挖掘。目前腾讯大数据的释放价值更多的是改进产品。根据腾讯Q1财务报告，增值服务占总收入的78.7%;电子商务业务占14.1%;网络广告收入占6.3%。从广告收入的比例可以看出，腾讯的大数据在精准营销领域还没有大量释放价值。GMAIL与其产品线对应、Google Google和社交巨头Facebook通过广告赚了很多钱。在我看来，腾讯的思路主要是补充产品，关注QZONE、打开微信、电商等产品的后端数据。例如，腾讯微博最近利用“大数据技术”实现了朋友关系自动分组、低质量信息自动过滤、高质量信息分类阅读等智能功能。用数据明显改进产品思路。那么，如果腾讯想深入挖掘大数据，缺少什么呢？作者认为，它只需要马化腾“按下启动按钮”。数据准备就绪模式，即找到需求或能够更深层次地驱动大数据使用的产品，而不是用大数据来改进产品。腾讯还在等着看，当别人试错验证一套模式或产品时，他们可以“站在巨人的肩膀上”。这是腾讯的典型思维。在人才方面，腾讯很早就开始花很多钱挖人。特别是2010年谷歌宣布退出中国后，谷歌图片搜索创始人朱会灿、谷歌中国工程研究院副院长颜伟鹏、谷歌中日韩文搜索算法主要设计师、《浪潮之巅》、《数学之美》作者吴军相继加入腾讯。搜索花了很多钱，但被认定为不能承载腾讯重托的产品，最后这些大牛都走了。大部分回Google。腾讯在大数据领域也缺乏技术领导者。也不重视公共关系。技术大牛很少出来做报告，也不会像百度、阿里那样主动包装宣传技术大牛。虽然技术低调，但执行力强。据腾讯程序员朋友介绍，封闭开发和集体加班是很常见的。但配套的重金激励也能跟上。勇夫和腾讯必须在重金下使用系统来保证技术产出。此外，腾讯在高校合作中领先一步，2010年与清华大学合作成立了清华腾讯联合实验室。看来腾讯的技术人才有短板。马化腾会按下启动按钮，发现没有数据挖掘能力吗？不，腾讯无法进行数据挖掘。到时候，它仍然可以挖掘牛，甚至阅读论文来完成这件事。数据挖掘已经成熟。数据挖掘实际上是数据库、统计学和机器学习的融合。多年来，它一直在学术界发展。但是自然语言识别和深度学习等方面要赶上百度，就很难了。除非把百度的数据和众大牛一起倒过来。总的来说，腾讯目前的大数据策略是先完善产品，打开产品背景数据，形成稳定的生态系统。在这个阶段，我们首先利用大数据挖掘来改进我们的产品。后期有成熟的产品模式合适，利用自己的社交和关系数据进一步挖掘大数据。第三，阿里巴巴:阿里巴巴B2B出身于未来的数据市场，在外贸蓬勃发展的环境下，依靠服务中小企业致富。在淘宝、支付宝等toC产品出生之前，阿里并不依赖或擅长技术。业内普遍认为阿里没有技术基因。直到淘宝、支付宝和天猫，阿里巴巴才完成了大规模用户并发交易、大规模货架数据管理和安全的严格要求，并在电子商务技术方面取得了巨大成就。阿里在一段时间内仍然浪费了大量的数据。这些数据仍然是“最有价值”的金数据。数据挖掘无非是从原始数据中提取价值。阿里现有的数据产品，如数据魔方、量词统计、推荐系统、排名和时间倒流，都是比较简单的BI(商业智能)，还没有达到大数据的阶段。阿里提出了“数据、金融、平台”战略，“大数据”浪潮袭来。对数据的收集、挖掘和共享给予前所未有的重视。在“退居”之前，马云总是向外界提到“数据”。一位阿里朋友甚至开玩笑说，马云的英文名字可以从Jackma改为Datama。现任阿里首席执行官陆兆禧曾担任首席数据官CDO。阿里还成立了横跨各大事业部的“数据委员会”，以数据驱动阿里电商帝国。阿里巴巴的投资案例也显示了其整合、利用和改进数据的雄心：新浪微博的社交媒体数据、高德的地图数据、离线数据和联盟的移动应用数据都是其数据和平台战略的一部分。首席人工智能官的数据战略(CBO)王坚的云在车品觉的领导下逐步落地，为其提供基础设施、基础技术支持。马云退休后，王健透露，他与马云开玩笑说：阿里巴巴对数据的理解不会超过苏宁对电子商务的理解。马云可能不同意他的观点。马云对大数据有自己的理解和考虑。马云曾经说过他对大数据的思考。一般意思是：现在从信息时代到数据时代。不同的是，在信息时代，精英玩的游戏更多。我比别人聪明，我可以提取信息；在数据时代，其他人比我聪明，向更聪明的人开放数据，数据是资产，分析是服务。从象牙塔到平民到草根，计算机发展的过程。大数据也是如此。起初，在象牙塔阶段，少数精英公司可以玩；但只要有数据，它就有价值。数据也有所有权，产生数据、流通数据和挖掘数据的人将获得相应的价值。阿里擅长“建立市场”，建立数据交易市场。届时，任何个人和企业都可以提供数据和挖掘服务进行交易。在早期阶段，阿里巴巴将逐步将其收集的电子商务和信用数据放在上面。有数据的人，拿上去卖，或者让别人分析，分析就是服务。没有数据的人可以买，也可以帮助别人挖掘，做矿工。阿里不是技术驱动，而是业务驱动。因此，在技术层面上，我们可以看到，基于上述阿里巴巴大数据理念，其技术重点主要集中在系统层面。阿里拥有LVS(LinuxVirtualServer，开源软件创始人张文嵩(Linux虚拟服务器)，LinuxKernal、大牛在文件系统、DBA等领域。从人才布局可以看出，阿里擅长的技术领域体现在对并发访问和电信级电子商务业务的支持上。去年双十一期间，单日订单数量超过1亿。日均40万时，铁道部奇葩网12306已经不行了。总的来说，阿里更多的是构建数据流通、收集和共享的底层架构。我不擅长，似乎也不会专注于数据挖掘。而是将自己擅长的“交易”业务扩展到数据上。让世界没有难做的“数据业务”。综上所述，在移动互联网的浪潮下，现实世界正在加速数字化，每个人、每个对象、每件事、每个时间节点都在向互联网映射。空间和时间的联网使数字世界接近现实世界的逐步模拟。历史、现在和未来都将映射到互联网上。挖掘大数据是对世界的二次发现和感知。三巨头BAT已经出发了。