Hadoop
这也太那什么了吧
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
HDFS
HDFSHadoop Distributed File System(HDFS)是大数据的存储系统。理解HDFS如何实现存储的可扩展性(scalability)和可靠性(reliability)区分HDFS的两个关键组件:namenode和datanode为了并行访问,HDFS将文件分割若干部分,并分散地存储在多个节点上。 如下图中的文件被分割成abcd四个块(chun原创 2018-01-10 21:25:26 · 355 阅读 · 0 评论 -
YARN
YARN是Hadoop的资源管理器。理解YARN如何为Hadoop集群提供灵活的资源管理理解YARN如何拓展Hadoop使得能够支持多种框架如MapReduce、Spark、Giraph和FlinkYARN是Hadoop从1.0升级至2.0出现的,hadoop1.0只支持MapReduce任务、资源利用率低。如图,Hadoop2.0中加入YARN使得hadoop中的编程模型有了除M原创 2018-01-10 21:28:27 · 6079 阅读 · 0 评论 -
MapReduce:Hadoop生态的一种简单编程模型
看完本文后,不妨回头看看这些目标都做到了吗?理解MapReduce如何简化并行程序的创建理解 WordCount应用程序如何使用MapReduce编程模型了解MapReduce编程模型之有所能有所不能并行编程通常需要线程、锁、信号量等复杂的专业知识,而MapReduce中只有Map和Reduce。MapReduce基于函数式编程的思想,类似于f(x)=y。Map是将一个操作应用于所有的原创 2018-01-04 11:23:39 · 720 阅读 · 0 评论
分享