15、MapReduce作业优化：链折叠与作业合并

MapReduce作业优化：链折叠与作业合并

1. 链折叠（Chain Folding）

在MapReduce任务中，我们可以通过链折叠优化来减少数据的读写量，提升性能。

1.1 优化思路

在处理Map任务（丰富数据和过滤数据）时，复制连接（replicated join）会增加数据，而过滤器会移除数据。为了优化性能，我们可以将过滤操作移到第一个MapReduce作业中，再将复制连接操作移到第二个MapReduce作业的Map阶段。这样，第一个MapReduce作业输出的数据量会显著减少，第二个作业加载的数据量也会相应减少。

1.2 实现方法

实现链折叠主要有两种方法：
- 手动复制粘贴代码：适用于一次性作业且逻辑上有多个Map阶段的情况。
- 使用ChainMapper和ChainReducer类：如果多个Map阶段会被复用，采用这种方法能遵循良好的软件工程实践。

1.3 ChainMapper和ChainReducer类

ChainMapper和ChainReducer是特殊的Mapper和Reducer类，允许在Mapper中运行多个Map阶段，并在Reducer后运行多个Map阶段。实际上，它将传统的Map和Reduce范式扩展为多个Map阶段、一个Reduce阶段和多个Map阶段，但每次只调用一个Map阶段和一个Reduce阶段。

需要注意的是，每个链之间的输入类型和输出类型必须匹配。例如，如果第一个阶段输出 <LongWritable, Text> ，那么第二个阶段的输入也必须是 &