
yarn
文章平均质量分 92
二营长的意大利面
还在学习
展开
-
Centos7搭建Hadoop 2.X伪分布式环境并运行wordcount MapReduce示例
1. 下载Hadoop在 Apache的 Hadoop项目界面找到hadoop的 hadoop下载地址 因为直接从Apache官方下载文件速度很慢,所以在表格下面选择别的镜像站地址。 在弹出的界面中会推荐一个下载速度很快的国内镜像站。 选择其中某个版本的hadoop下载,因为现在市面上绝大部分的学习资料都是以hadoop 2.x 为基础,所以推荐大家下载hadoop 2.x的版本...原创 2018-05-15 11:48:12 · 4656 阅读 · 1 评论 -
MapReduce 1.x 及 2.x 架构解读
MapReduce 1.x 架构 MapReduce 1.x 采用 Master/Slave 架构,由全局唯一的 Jobtracker 和多个 TaskTacker 组成,并且在Client中提供一系列的api供编程和管理使用。其中各个组件的作用是:1. JobTracker全局唯一,主要负责集群资源监控和作业调度。JobTracker会对集群中所有的TaskTracker进行监控,...原创 2018-06-21 16:24:48 · 2780 阅读 · 0 评论