如何筛选海量样本，实现大数据分析？

从小样本到大数据：概念和误解过去两年产生和记录的数据总量占人类文明以来所有数据总量的90%。我们不断记录所有有价值的信息。世界和万物的变化数据已经成为一个“自动生长”的金矿，而数据挖掘技术负责从矿山中挖出金子。“大数据”一词早期是IBM和EMC倡导的商业概念，自诞生以来就有概念包装的商业基因。如果你明白了这个道理，你就不会太纠结于“什么是大数据”、“大数据是多少”等问题。这一概念包括哲学迷思、技术困境、解决方案和我们面对海量数据环境造成的商机。在讨论大数据问题之前，让我们回顾一下数据行业的另一个经典问题——小样本问题。小样本的“小”表面是指数据样本较少，本质上是指现有样本对特征空间的描述能力不足。“过拟合”问题是小数据时代的核心问题之一，也实现了理论大师和SVM算法，如vapnik。大数据的显性特征是超过一般算法或一般硬件计算处理能力的“大”规模数据；它的另一个特征是有足够的“超额”样本来描述样本特征空间。前者的显性特征促进了平行/云计算软硬件的发展，后者从商业模式和数据分析方法论层面促进了行业的变化。如何理解这些“超额样本”带来的价值？显然，通过数据描述对象的整体特征，不需要这些“超额样本”来获得所有的统计规则和相关规则。因此，在大数据时代之前，有“大数据越多越好”和“大数据是否需要抽样”的辩论。可以说，纠结于这些问题的人还没有触及大数据的核心价值。综上所述，在大数据时代之前，我们处理小样本或适度抽样后的小数据来发现群体规律的知识(KDD);在大数据时代，我们依靠小样本挖掘或已知的经验规则，通过搜索大量样本数据找到目标个体来实现商业价值。从理论到价值：政府应用实例大数据在哪里？这些富矿的金主包括：工业、金融、通信、科研机构、互联网企业等。除此之外，还有一个超级矿主——政府。以美国为例，Data在美国政府网站上公开.Gov上，原始数据文件约40万份，涵盖农业、金融、就业等近50个类别。美国官员表示，这样做的目的是“方便公众更方便地获取联邦政府数据，并创造性地使用这些数据，鼓励创新突破政府的墙壁”。同时，各行业的大数据可以大大改善政府的决策行为。近年来，大数据在国家和政府领域的应用案例开始出现：　　1.2008年，法国总统萨科齐成立了20多名世界知名专家，包括诺贝尔经济学奖得主约瑟夫·斯蒂格里茨和阿马蒂亚·森。一项工作被称为“幸福与经济进步的测量”(HappinessandMeasuringEconomicProgress)的研究。本研究将国民主观幸福纳入衡量经济表现的指标，以主观幸福、生活质量和收入分配为衡量经济发展的指标。佛蒙特大学计算实验室项目Hedonometer　　(1)2011年:来自远程佛蒙特大学的克里斯多夫·丹佛斯主持了幸福与地理位置的关系。2011年，他们从Twitter上筛选出具有博主地理位置的Tweet。在全球18万多用户发布的3700万条twet中，约1%的微博包含此类经纬度信息。在全球18万多名用户发布的3700万twet中，约1%的微博包含此类经纬度信息。研究发现，人们通常有两个最常去的地方，这两个地方不远，应该是家和工作的地方。佛蒙特大学的研究小组开发了一种“幸福测试仪”，以评估博主的幸福额度(hedonometer)：这种测试仪可以在文本中检测到表达积极和快乐的词汇(例如，“新鲜”、“极好的”、“咖啡”和“午餐”)以及表达消极情绪的词(如“不”、“不”、“讨厌”、“该死的”、"无聊")。基于此，幸福测试仪将评估每个微博的幸福指数。研究团队发现，离家越远，人们在微博上发布的快乐词汇就越多。　　(2)2011年:20112月21日，美国佛蒙特大学学者分析了Twitter上的文字，最终得出“人不如以前快乐”的结论。自2009年4月以来，人们的幸福感总体呈下降趋势。佛蒙特大学应用数学家PeterDods表示：“人们的幸福感正在下降。“这是多兹团队对6300万twitter用户发布twet时使用的460亿个单词进行分析的结论。　　(3)2013年:佛蒙特大学计算实验室Hedonometer项目组周六发布推特情感分析报告。本项目通过自然语言处理，对过去五年每天发布的数千万条微博进行情感分析，找到一些反映积极情绪或消极情绪的关键词，并记录结果。每年的最高幸福点是12月25日的圣诞节，其他高幸福的日子包括元旦、感恩节、情人节等。；从每周开始，平均幸福度最高的一天是星期六，最低的一天是星期二。　　2.联合国全球脉动(globalpulse)随着大数据发展战的高度重视，联合国秘书长执行办公室于2009年正式启动了“全球脉动”(GlobalPulse)该项目旨在促进数字数据和快速数据收集与分析方法的创新。艾玛纽尔·勒图作为该项目的研究成果，由“全球脉动”高级发展经济学家组成(EmmanuelLetouzé)牵头撰写的《大数据促发展：挑战与机遇》报告于2012年5月发布。本报告全面分析了各国特别是发展中国家在利用大数据促进社会发展方面面临的历史机遇和挑战，并提出了在应用过程中正确使用大数据的战略建议。伦敦智库政策交易所还宣布，大数据每年可以为英国政府节省330亿英镑，呼应联合国对大数据价值的判断。联合国的报告解释了大数据如何帮助政府更好地响应收入、失业、食品价格等社会和经济指标的变化。联合国指出，大数据时代已经到来，包括旧数据和新数据在内的人们可以使用前所未有的实时分析社会人口的巨大而丰富的数据资源。