chuyouyinghe的专栏

一：背景 Reduce端连接比Map端连接更为普遍，因为输入的数据不需要特定的结构，但是效率比较低，因为所有数据都必须经过Shuffle过程。  二：技术实现 基本思路 (1)：Map端读取所有的文件，并在输出的内容里加上标示，代表数据是从哪个文件里来的。 (2)：在reduce处理函数中，按照标识对数据进行处理。 (3)：然后根据Key去join来求出结果直接输出。

12/08/27 15:49:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 12/08/27 15:49:40 WARN mapred.JobClient: No job jar