qq_49948651的博客

YARN是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度，提供运算所需的资源（内存、cpu）。yarn 并不清楚用户提交的程序的运行机制yarn只提供运算资源的调度（用户程序向 yarn 申请资源，yarn 就负责分配资源）yarn与运行的用户程序完全解耦，意味着 yarn 上可以运行各种类型的分布式运算程序yarn 成为一个通用的资源调度平台，企业中以前存在的各种运算集群都可以整合在一个物理集群上，提高资源利用率，方便数据共享yarn 中的主管角色叫。

MapReduce的思想核心是分而治之。所谓分而治之就是把一个复杂的问题按一定的分解方法分为规模较小的若干部分，然后逐个解决。Map负责分即把复杂的任务分解为若干个“简单的任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系Reduce负责合即对map阶段的结果进行全局汇总输入目录下文件按一定标准进行逻辑切片Map阶段：把数据解析成键值对Collect阶段：按一定规则对map的输出进行分区后写入内存(环形缓冲区)

HDFSHadoop 分布式文件系统。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。hdfs dfs、 hadoop fs 二者区别hdfs dfs 只能操作HDFS文件系统相关（包括与Local FS间的操作）,常用hadoop fs 可操作任意文件系统，不仅仅是hdfs文件系统，使用范围更广。

Hadoop之HDFS

hadoop之MapReduce

hadoop之MapReduce

hadoop之MapReduce