MapReduce笔记

split分片

HDFS中的DataNode以block模块形式保存输入文件
hadoop 1.x默认block大小为64M
hadoop 2.x默认block大小为128M
block大小参数设置在hdfs-site.xml中：dfs.block.size

DataNode的split过程，将文件分块；
如上图分为5个map任务。
NameNode内存有限，大量小文件会带来性能问题，故HDFS适合放大文件，小文件可以压缩、合并，例如设置文件输入类型为CombineFileInputFormat格式。
增加map个数可增大参数mapred.map.tasks
较少map个数可增大参数mapred.min.split.size

Combine

在Map端输出后会进行网络混洗，Shuffle后进入Reduce，大数据量会大量网络开销。故可在本地先按照key先一轮排序合并，即Combine。
Combine原理即是本地状态的Reduce操作，之后再各个Node的数据合并排序。

Reduce

Reduce的任务数可以通过调节参数mapred.reduce.tasks；
代码中调用job.setNumReduceTasks(int n)方法设置。

Hadoop的分布式缓存

在执行MapReduce时，可能Mapper之间需要共享一些信息，如果信息量不大，可从HDFS加载到内存中。

在main方法中加载共享文件的HDFS路径

String cache="hdfs://node001:9000/cache/file"; //目录或者文件
cache=cache+"#myfile";//myfile是文件的别名
job.addCacheFile(new Path(cache).toUri(),conf);//添加到job设置

protected void setup(Context context)throws IOException,InterrupetedException{
FileReader reader =new FileReader("myfile");
BufferedReader br =new BufferedReader(reader);
...
}