大数据分析平台Hadoop与Spark之争

ZD至顶网软件频道消息 原创文章（文/邓晓蕾）： 有人把大数据称为信息资产、有人称为金矿、甚至社会财富。而大数据，即，无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。Gartne认为“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是成为赢得竞争的关键。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

随着云时代的来临，依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术等技术对海量数据进行分布式数据挖掘，分析、洞察越来越被看重。

前几日，一篇文章在媒体圈炸了锅，腾讯财经采用机器人写出一篇稿子《8月CPI涨2% 创12个月新高》，腾讯财经开发的自动化新闻写作机器人，根据算法在第一时间自动生成稿件，瞬时输出分析和研判，一分钟内将重要资讯和解读送达用户。获悉这一消息后，一些记者纷纷表示”已哭晕在厕所“，今后的记者岗位会越来越少。也不乏安慰者，”机器人写的是稿，记者写的是观点。“但无论如何，基于对数据进行分析直接展示数据，让数据自己说话，让观众听到结果，是大数据时代实实在在带来的好处。

对于大数据来说，最重要的还是对于数据的分析，从里面寻找有价值的数据帮助企业作出更好的商业决策。而如何利用大数据分析，少不了大数据分析的平台，Hadoop被公认为是新一代的大数据处理平台，EMC、IBM、Informatica、Microsoft以及Oracle都投入了Hadoop的怀抱。

这样的平台是复杂的，具有相当技术的门槛，但是每个行业都少不了黑马。Spark从2009年诞生到如今的成熟，不过短短几年。Spark的核心RDD（resilient distributed datasets），以及流处理，SQL智能分析，机器学习等功能。Spark提供的基于RDD的一体化解决方案，将MapReduce、Streaming、SQL、Machine Learning、Graph Processing等模型统一到一个平台下，并以一致的API公开，并提供相同的部署方案，使得Spark的工程应用领域变得更加广泛。

在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。

对于Hadoop与Spark两者之间的合作与竞争，在业内不比大数据本身的热度少多少。知乎上有位大数据工程师@网易如此来解释，”Hadoop包括Yarn和HDFS以及MapReduce，说Spark代替Hadoop应该说是代替MapReduce。“MapReduce的缺陷很多，最大的缺陷之一是Map ＋ Reduce的模型。

另一位知乎网友@码农从自身的感受如此谈到：

1. 相同的算法，Spark比Hadoop快数倍，如果是一些迭代或者要对数据反复读取的算法，Spark比Hadoop快数十倍至上百倍
2. Spark对于数据的操作种类更多，对于一些比较特殊的计算需求，比如求两个集合的交集并集，Spark都有函数直接计算，而Hadoop实现这样的计算无比繁琐。

Spark的特色在于它首先为大数据应用提供了一个统一的平台。从数据处理层面看，模型可以分为批处理、交互式、流处理等多种方式；而从大数据平台而言，已有成熟的Hadoop、Cassandra、Mesos以及其他云的供应商。

据预测，Spark将会在五年以后全面替代Hadoop的MapReduce。由此可见，大数据领域技术更迭十分迅速。那么，在日新月异的大数据领域，Spark又能主导分布式计算多久呢？之后，又是那种技术替代Spark呢？