子清的博客

文章目录1.Yarn基本架构2.Yarn工作机制3.作业提交全过程4.资源调度器4.1先进先出调度器（FIFO）4.2容量调度器（Capacity Scheduler）4.3公平调度器（Fair Scheduler）5.任务的推测执行 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.Yarn基本架构 YARN主要由ResourceManager、NodeManager、Applicatio

文章目录1.序列化概述1.1什么是序列化1.2为什么要序列化1.3为什么不用java的序列化2.常用数据序列化类型3.自定义bean对象实现序列化接口（Writable）4.序列化案例实操4.1需求4.2需求分析4.3编写MapReduce程序 1.序列化概述 1.1什么是序列化 序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。 反序列化就是将收到的字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转成内存中的对象。 1.2为什么要序列化 一般来说，“活的”

文章目录1.MapReduce定义2.MapReduce优缺点2.1优点2.2缺点3.MapReduce核心思想4.MapReduce进程5.MapReduce编程规范5.1.Mapper阶段5.2.Reducer阶段5.3.Driver阶段6.WordCount案例实操6.1需求6.2需求分析6.3环境准备6.4编写程序 1.MapReduce定义 MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。 MapReduce核心功能是将用户编写的业务逻辑代