大数据技术基础
关注
分享
扫一扫
ChAnGe&K
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据技术基础 MapReduce集群调度
文章目录一、Hadoop 1.x的传统集群调度框架二、Hadoop/MapReduce 1.x的架构问题三、1.x版本的独立集群集中调度四、Hadoop 2.x的集群调度框架YARN1. YARN的思想2. YARN双层调度架构3. 具体做法4. YARN中运行一个作业的流程1）作业提交2） 作业初始化3）4）5）6）7）8）9）10）11） Hadoop集群架构 在分布式存储和计算方面，Had...原创 2020-03-30 21:29:29 · 698 阅读 · 0 评论 -
大数据技术基础 MapReduce框架
文章目录一、MapReduce框架1. Client2. JobTracker3. TaskTracker4. Task二、Map Task的执行过程三、Reduce Task执行过程 一、MapReduce框架 MapReduce采用和HDFS一样的Master/Slave（M/S）主从架构，它由Client、JobTracker、TaskTracker和Task四个组件组成。 1. Clien...原创 2020-03-29 21:29:31 · 569 阅读 · 0 评论