
big data
文章平均质量分 95
xu_song
专注于前端及移动端开发
展开
-
Spark和Hadoop之间的关系
Spark是一个计算框架Hadoop是包含计算框架MapReducehe分布式文件系统HDFS。 Spark是MapReduce的替代方案,而且兼容HDFS、Hive等分布式存储系统,可融入Hadoop生态。 Spark与Hadoop MapReduce优势如下1 中间结果输出 MapReduce的计算引擎将中间结果存储在磁盘上,进行存储和容错。 Spark...转载 2019-01-24 10:45:22 · 5024 阅读 · 0 评论 -
2018年最新Hadoop大数据开发学习路线图
Hadoop发展到今天家族产品已经非常丰富,能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术,市场上很多公司的大数据业务都是基于Hadoop开展,而且对很多场景已经具有非常成熟的解决方案。作为开发人员掌握Hadoop及其生态内框架的开发技术,就是进入大数据领域的必经之路。下面详细介绍一下,学习Hadoop开发技术的路线图。Hadoop本身是用java开发的,所以对java的...转载 2019-01-24 11:23:53 · 242 阅读 · 0 评论 -
Hadoop与Spark比较
先看这篇文章:http://www.huochai.mobi/p/d/3967708/?share_tid=86bc0ba46c64&fmid=0 直接比较Hadoop和Spark有难度,因为它们处理的许多任务都一样,但是在一些方面又并不相互重叠。比如说,Spark没有文件管理功能,因而必须依赖Hadoop分布式文件系统(HDFS)或另外某种解决方案。 Hadoop框架...转载 2019-01-22 17:47:09 · 601 阅读 · 0 评论