对比：Hadoop集群技术与Spark集群技术

Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘和分析。Spark:它是一个基于内存计算的开源集群计算系统，旨在使数据分析更快。Spark是一个类似于Hadoop的开源集群计算环境，但两者之间仍然存在一些差异。这些有用的差异使Spark在某些工作负载方面更加优越，换句话说，Spark使用了内存分布数据集，除了提供交互式查询外，它还可以优化迭代工作负载。Spark是在Scala语言中实现的，它将Scala作为其应用程序框架。Spark是在Scala语言中实现的，它使用Scala作为其应用程序框架。与Hadoop不同，Spark和Scala可以紧密集成，Scala可以像操作本地集合对象一样轻松地操作分布式数据集。虽然创建Spark是为了支持分布式数据集上的迭代操作，但它实际上是对Hadoop的补充，可以在Hadoop文件系统中并行运行。这种行为可以通过名为Mesos的第三方集群框架来支持。加州大学伯克利分校AMP实验室Spark(Algorithms,Machines,andPeopleLab)可用于构建大型、低延迟的数据分析应用程序。虽然Spark和Hadoop有相似之处，但它提供了一个新的集群计算框架，具有有用的差异。首先，Spark是为集群计算中特定类型的工作负载而设计的，即并行操作之间重用工作数据集（如机器学习算法）的工作负载。为了优化这些类型的工作负载，Spark引入了内存集群计算的概念，可以在内存集群计算中将数据集缓存到内存中，以缩短访问延迟。相信大家对hadoop都很熟悉，基于Googlemap/Reduce的hadoop为开发者提供了map。、reduce原语，使并行批处理程序变得非常简单和美观。Spark提供的数据集操作有很多种，不像Hadop只提供Map和Reduce。比如map，filter,flatMap,sample,groupByKey,reduceByKey,union,join,cogroup,mapValues,sort,partionBy等多种操作类型，他们称这些操作为transformations。还提供Count，collect,reduce,lookup,各种actions，如save。还提供Count，collect,reduce,lookup,各种actions，如save。这些多种类型的数据集操作为上层应用提供了便利。每个处理节点之间的通信模型不再像Hadoop那样是唯一的DataShufle模型。用户可以命名、物化、控制中间结果的分区等。可以说编程模型比Hadoop更灵活.Hadop和Spark都是大数据框架，都提供了一些执行常见大数据任务的工具。但确切地说，他们所执行的任务并不相同，彼此也不排斥。Spark虽然据说在特定情况下比Hadoop快100倍，但本身并没有分布式存储系统。分布式存储是许多大数据项目的基础。它可以将PB级数据集存储在几乎无限的普通计算机硬盘上，并提供良好的可扩展性，只需随着数据集的增加而增加硬盘。因此，Spark需要第三方分布式存储。正因为如此，许多大数据项目在Hadoop上安装Spark。这样，Spark的高级分析应用程序就可以使用存储在HDFS中的数据。Spark的真正优势在于速度，而不是Hadoop。Spark的大部分操作都在内存中，而Hadoop的MapReduce系统在每次操作后都会将所有数据写回物理存储介质。这是为了确保在出现问题时完全恢复，但Spark的弹性分布式数据存储也可以实现这一点。此外，Spark在高级数据处理(如实时流处理和机器学习)方面的功能优于Hadoop。在Bernard看来，这与其速度优势相结合，是Spark越来越受欢迎的真正原因。实时处理意味着可以在数据捕获的瞬间将其提交给分析应用程序，并立即获得反馈。在各种大数据应用中，这种处理的用途越来越多，如零售商使用的推荐引擎和制造业中的工业机械性能监控。Spark平台的速度和流数据处理能力也非常适合机器学习算法。在发现问题的理想解决方案之前，这种算法可以自我学习和改进。该技术是最先进的制造系统(如预测零件何时损坏)和无人驾驶汽车的核心。Spark有自己的机器学习库MLib，而Hadoop系统则需要使用第三方机器学习库，如ApacheMahout。事实上，虽然Spark和Hadoop有一些功能重叠，但它们不是商业产品，也没有真正的竞争关系。通过为这种免费系统提供技术支持和利润的公司通常同时提供两种服务。例如，Cloudera不仅提供Spark服务，还提供Hadop服务，并根据客户的需要提供最合适的建议。