hive优化之自动合并输出的小文件

最新推荐文章于 2025-07-03 16:15:17 发布

houzhizhen

最新推荐文章于 2025-07-03 16:15:17 发布

阅读量3.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： hive 文章标签： hive 优化

本文链接：https://blog.youkuaiyun.com/houzhizhen/article/details/46356383

hive 专栏收录该内容

162 篇文章

订阅专栏

本文介绍了如何通过配置Hive来解决MapReduce作业产生的大量小文件问题。具体包括设置小文件标准、为仅包含Map阶段及包含Reduce阶段的作业启用小文件合并。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.先在hive-site.xml中设置小文件的标准.

<property>
  <name>hive.merge.smallfiles.avgsize</name>
  <value>536870912</value>
  <description>When the average output file size of a job is less than this number, Hive will start an additional map-reduce job to merge the output files into bigger files.  This is only done for map-only jobs if hive.merge.mapfiles is true, and for map-reduce jobs if hive.merge.mapredfiles is true.</description>
</property>

2.为只有map的mapreduce的输出并合并小文件.

<property>
  <name>hive.merge.mapfiles</name>
  <value>true</value>
  <description>Merge small files at the end of a map-only job</description>
</property>

2.为含有reduce的mapreduce的输出并合并小文件.

<property>
  <name>hive.merge.mapredfiles</name>
  <value>true</value>
  <description>Merge small files at the end of a map-reduce job</description>
</property>