书山有路，学海无涯

案例一：ReduceJoin场景：假设我们现在有两张表数据：商品表和订单表订单表：订单编号 商品ID 购买数量001 01 2 002 01 1003 02 1004 03 2005 04 1商品表：商品ID 商品名称 商品单价01 华为Mate40 599902 华为笔记本 699903 小米笔记本 399904 苹果笔记本 1099905 联想笔记本 7999现在要求我们对两个表进行left join操作解析思路：逆向思考–>Reduce阶段需要让相同的商品

MR相关内容InputFormat（切片和为maptask读取数据）分区（与Reducer的执行数量，自定义分区）排序合并Combiner（快速排序后、第一次归并后、不能影响执行结果，输入kv与输出kv类型一致）分组（第二次归并后，Reducer输入前，自定义分组）切片（InputFormat）类型切片方法getSplitskv方法createRecordReader用途说明TextInputFormatFIF的切片方法LineRecordReader按照块大

得到hadoop的window环境下的编译包配置windows下hadoop环境变量（注意HADOOP_HOME不要有空格、中文）验证环境配置是否成功hadoop version准备开发环境建立maven工程导入maven依赖<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <vers

准备工作vm建立虚拟机虚拟机配置IP、更改hostname、配置hosts、创建新用户，为新用户增加sudo权限，免密登录暂时参考：以后更新步骤。和我一起学Hadoop（一）hadoop组成hdfsnamenodedatanodesecondary namenodemapreduceapp mastercontaineryarnresource mangernode manager集群模式Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式

hadoop的源码构建

Hadoop java客户端

linux的网络配置 ssh免密登陆

hadoop的最简化配置

mapred 单词统计