
Hadoop 大数据
stonexmx
工作10余年了,一直从事JAVA技术相关工作。之前上各种论坛,但是很少具体记录、收录一些好的资料。感觉应该有一个好的记录、收录习惯,以便用时查阅。
展开
-
Hadoop MapReduce执行过程详解(带hadoop例子)
分析MapReduce执行过程 MapReduce运行的时候,会通过Mapper运行的任务读取HDFS中的数据文件,然后调用自己的方法,处理数据,最后输出。Reducer任务会接收Mapper任务输出的数据,作为自己的输入数据,调用自己的方法,最后输出到HDFS的文件中。整个流程如图: Mapper任务的执行过程详解 每个Mapper任务是一个java进程,它会读取HDFS中转载 2016-04-25 14:46:59 · 400 阅读 · 0 评论 -
ZooKeeper架构设计及其应用要点
ZooKeeper是一个开源的分布式服务框架,它是Apache Hadoop项目的一个子项目,主要用来解决分布式应用场景中存在的一些问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置管理等,它支持Standalone模式和分布式模式,在分布式模式下,能够为分布式应用提供高性能和可靠地协调服务,而且使用ZooKeeper可以大大简化分布式协调服务的实现,为开发分布式应用极大地降低了成本。转载 2016-04-25 15:27:31 · 279 阅读 · 0 评论 -
HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置
转:http://www.aboutyun.com/thread-11909-1-1.html 参考 :Hadoop2.4的ResourceManager HA高可用配置 hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.6.0又增加了YARN HA 注意:apache提供的hadoop-2.6.0的安装包是在32位操转载 2016-04-25 15:33:21 · 679 阅读 · 0 评论 -
hadoop MapReduce实例解析
1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是Job转载 2015-09-12 18:28:14 · 281 阅读 · 0 评论