chaohui2638457321的博客

MapReduce 是什么 是Hadoop中的分布式计算框架 优点： 易于编程： MR将所有的计算抽象为Map(映射) 与Reduce(聚合) 两个阶段 只需要继承并实现Mapper和Reducer类，就可以完成高性能的分布式程序 扩展性 与HDFS类似，HDFS是通过将多台机器的存储能力整合到集群中，提供更大的存储能力，MR是通过将多台机器的计算能力(cpu、内存）综合起来，提供海量数据的计算 高容错 高并发(多线程)的分布式程序运行过程中，一些线程出现错误或者某些机器出现故障时，MR框架可以自动启动

常用序列化类型 Java类型 Hadoop Writable类型 Boolean BooleanWritable Byte ByteWritable Int IntWritable Float FloatWritable Long LongWritable Double DoubleWritable String Text Map MapWritable Array ArrayWritable Null NullWritable MR任务运行 测试

MR运行流程 MapReduce框架原理 1.InputFormat 数据输入 1）Job提交流程源码解析 概述： 1.提交Job任务 2.建立连接创建Job代理，判断是本地运行环境还是集群运行环境 3.提交任务，创建stag路径 4.获取JobID，创建job路径 5.如果是集群环境，则拷贝jar包到集群，如果是本地环境，则计算分片**(job.split)，生成分片文件信息（job.splitmetainfo)** 6.向stag写xml配置文件**（job.xml)** 7.提交Job，返回提交状态

Reduce Join 需求分析： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aPRi5msX-1638758714162)(F:\大数据\图片13.png)] 代码实现： （1）创建商品和订单合并后的TableBean类 package com.atguigu.mapreduce.reducejoin; import org.apache.hadoop.io.Writable; import java.io.DataInput; import java.io.Dat