hive中reduce输出大文件的处理

最新推荐文章于 2024-11-08 20:58:33 发布

原创

最新推荐文章于 2024-11-08 20:58:33 发布 · 5.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #io #c

当遇到Hive中map输出文件较大，导致机器IO开销过大但CPU利用率较低的问题时，可以通过设置MapReduce的中间输出进行压缩来解决。启用map输出压缩可以有效减少IO负担，例如使用Gzip压缩。相关配置包括：mapred.output.compress=true、hive.exec.compress.output=true以及设置压缩codec为GzipCodec。

问题1:hive表对应的数据含有很多空文件或者很多较大文件
原因：最本质原因是数据倾斜导致分配到reduce的数据量差别所致，这些空文件会占据namenode的内存，也会影响map的数目。
解决方案1: 在hadoop本身OutputFormat的接口中org.apache.hadoop.mapreduce.lib.output.LazyOutputFormat倒可以在hadoop层面解决，
因为reduce是先建立数据文件，然后把数据append进去，但是LazyOutputFormat做了次修改，如果判断无数据输出，则此数据文件
就不再建立了。目前hive的输出格式统一为org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat，尚未实现lazy的功能，增加
增加接口代码
解决方案2：使用合并小文件的操作
set hive.merge.mapredfiles=true;（默认为false）
set hive.merge.size.per.task=256*1000*1000;(这个也是默认值)
这个是要求在reduce端进行小文件合并的操作（如果多个文件小于256M的情况下），这需要额外增加一个job来完成这个事情;除此之外，
还可以在map端启用小文件的合并，通过参数set hive.merge.mapfiles=true;来设置

问题2:机器io开销很大，但是机器的cpu开销较小，另外map输出文件也较大，怎么办？
解决办法：通过设置map的中间输出进行压缩就可以了，这个不会影响最终reduce的输出，如下是设置使用gzip来进行压缩
set mapred.output.compress=true;
set hive.exec.compress.output=true;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set io.c