qq_54990658的博客

但reduce在执行前，它的输入数据是经过shuffle的merge后存储在reduce端本地磁盘中，所以这个数据就是所有reduce的总输入字节数。与map task 的split相关的数据都会保存于HDFS中，而在保存时元数据也相应地存储着数据是以怎样的压缩方式放入的，它的具体类型是什么，这些额外的数据是MapReduce框架加入的，与job无关，这里记录的大小就是表示额外信息的字节大小。map端的那个中间结果是有压缩好的有格式数据，所有它有两个length信息：源数据大小与压缩后数据大小。

之前一直使用Tools里的Office->MobaTextEditor默认文本来编辑代码，相比直接用vim和vi更方便（可以复制粘贴别的代码）

错误如下：Exception in thread "main" java.lang.IllegalStateException: Job failed!reducer函数同理。

然后查找里面的yarn-daemon.sh和hadoop-daemon.sh把上述选项打开即可。网上有很多种解决方案，一般是重新调整内存资源或者更改yarn配置。