大家好，我是敖云岚，一个沉迷代码的 “技术玩家”。擅长 Java、C++ 开发，对 MySQL、Redis、RabbitMQ 等技术也颇有研究。博客里既有硬核技术干货，也有诙谐幽默的编程日常分享。愿和你一起，笑着学技术，快乐敲代码！

MapReduce是一个 分布式运算程序 的编程框架，是用户开发“基于 Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将 用户编写的业务逻辑代码 和 自带默认组件 整合成一个完整的分布式运算程序 ，并发运行在一个 Hadoop集群上。

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。

Yet Another Resource Negotiator 简称YARN ，另一种资源协调者，是Hadoop 的资源管理器。ResourceManager（RM）：整个集群资源（内存、CPU等）的老大NodeManager（NM）：单个节点服务器资源老大（每个NodeManager上可以有多个Container）ApplicationMaster（AM）：单个任务运行的老大（集群上可以运行多个ApplicationMaster）