hive merge file

最新推荐文章于 2023-09-05 16:50:51 发布
原创 最新推荐文章于 2023-09-05 16:50:51 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在使用Hive处理数据时，通过合理设置Map输入合并和输出合并参数，来优化小文件处理过程，减少资源浪费和避免内存溢出的问题。介绍了如何设置关键参数以实现Map前端的小文件合并，以及在任务结束后如何合并输出文件，以提高任务执行效率。

当Hive输入由很多个小文件组成，由于每个小文件都会启动一个map任务，如果文件过小，以至于map任务启动和初始化的时间大于逻辑处理的时间，会造成资源浪费，甚至OOM。
为此，当我们启动一个任务，发现输入数据量小但任务数量多时，需要注意在Map前端进行输入合并
当然，在我们向一个表写数据时，也需要注意输出文件大小

1. Map输入合并小文件
对应参数：
set mapred.max.split.size=256000000;  #每个Map最大输入大小
set mapred.min.split.size.per.node=100000000; #一个节点上split的至少的大小 
set mapred.min.split.size.per.rack=100000000; #一个交换机下split的至少的大小
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;  #执行Map前进行小文件合并

在开启了org.apache.hadoop.hive.ql.io.CombineHiveInputFormat后，一个data node节点上多个小文件会进行合并，合并文件数由mapred.max.split.size限制的大小决定。
mapred.min.split.size.per.node决定了多个data node上的文件是否需要合并~
mapred.min.split.size.per.rack决定了多个交换机上的文件是否需要合并~



2.输出合并
set hive.merge.mapfiles = true #在Map-only的任务结束时合并小文件
set hive.merge.mapredfiles = true #在Map-Reduce的任务结束时合并小文件
set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge

(14)Hive调优——合并小文件
爱吃辣条的博客
02-13 5528
Hive的小文件问题
Hive的TextFile格式优化方法
chunzhi128的博客
06-05 360
Hive的TextFile格式是一种基于文本的行式存储格式，具有简单易用、兼容性强等特点。它以纯文本形式存储数据，支持自定义分隔符，便于调试和快速数据导入。虽然性能不及ORC、Parquet等列式存储格式，但TextFile在数据导入/导出、非结构化数据处理等场景中仍有优势。本文详细介绍了TextFile的特点、适用场景及优化方法，包括压缩、分区设计、小文件合并等技巧，并对比了与ORC/Parquet的差异，帮助用户合理选择存储格式。
数据仓库 - hive 合并小文件
DolphinF的博客
07-13 1158
1个文件块，占用namenode多大内存150字节 128G能存储多少文件块？每个小文件都会起到一个MapTask，1个MapTask默认内存1G。1024kb*1024byte/150字节 = 9.1亿文件块。只支持 RCFILE 和 ORC 文件类型。2、hive使用spark引擎。小文件太多会有什么影响。1、hive使用mr引擎。
【Hive-小文件合并】Hive外部分区表利用Insert overwrite的暴力方式进行小文件合并
weixin_53543905的博客
09-05 1688
【代码】【Hive-小文件合并】Hive外部分区表利用Insert overwrite的暴力方式进行小文件合并。这里我们直接用实例来讲解，Hive外部分区表有单分区多分区的不同情况，这里我们针对不同情况进行不同的方式处理。
hive merge小文件
热门推荐
yfk的专栏
02-19 3万+
当Hive输入由很多个小文件组成，由于每个小文件都会启动一个map任务，如果文件过小，以至于map任务启动和初始化的时间大于逻辑处理的时间，会造成资源浪费，甚至OOM。 为此，当我们启动一个任务，发现输入数据量小但任务数量多时，需要注意在Map前端进行输入合并 当然，在我们向一个表写数据时，也需要注意输出文件大小 1. Map输入合并小文件 对应参数： set mapred.max.
hadoop、hive小文件合并
jin6872115的博客
04-10 1345
  小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte（元数据的记录），如果有1000 0000个小文件，每个文件占用一个block，则namenode大约需要2G空间。如果存储1亿个文件，则namenode需要20G空间。这样name...
hive常用参数、数据倾斜处理办法总结
槑の少年的博客
09-28 1418
小文件合并 --set hive.merge.sparkfiles = true;--spark引擎，结束后，新启动一个任务进行合并文件 set hive.merge.tezfiles = true;--tez引擎，结束后，新启动一个任务进行合并文件 --set hive.merge.mapredfiles = true;--在Map-Reduce的任务结束时合并小文件，mr引擎，结束后合并文件，新启动一个任务 set hive.merge.mapfiles = true;--在Map-only的任务结束时
hive大小文件合并
KANGBboy的博客
09-28 4548
hive -e “set tez.queue.name=usershell; 启用哪个队列 set hive.execution.engine=tez; 启用引擎 set hive.merge.tezfiles=true; 开启合并 set hive.merge.smallfiles.avgsize=16000000; 文件合并标准（低于16000000kb进行合并） set hive.merge.size.per.task=128000000;文件合并大小（最终文件大于128000000后，停止合并，合
Hive on Spark 小文件问题
weixin_42496757的博客
12-30 3305
总所周知，hadoop namenode会对hdfs上的每个文件在内存中都会维护一份元数据信息。如果集群产生大量小文件而不处理，长期下去，必将给namenode造成巨大压力。同时，对于hive，spark计算时，小文件意味着需要更多的task和资源，影响计算速度，同样也可能将节点弄挂掉。 因此，小文件问题，需要引起重视，在日常开发和日常监控中需要额外注意。 Hive on Spark 关闭hive.merge.sparkfiles，shuffle会产生大量小文件，因此写入hdfs存在小文件问..
Hive 自动合并小文件的功能详解
houzhizhen的专栏
01-07 7198
小文件的判断 如果一个 job 结束后，生成的文件的平均大小小于 参数设定的值hive.merge.smallfiles.avgsize，则认为是小文件 set hive.merge.smallfiles.avgsize=128000000; 合并后的目标文件大小 希望的合并后的目标文件大小，如果此值小于 hive.merge.smallfiles.avgsize, 则此值为 hive.merge.smallfiles.avgsize。 set hive.merge.size.per.task=12800
Hadoop Hive小文件合并
yuqiangdmp的博客
08-21 1065
hive.exec.reducers.bytes.per.reducer=500000000 --设定每个reduce的处理数据的大小。set mapred.reduce.tasks = 15 --数据比较稳定的情况下可以设定死的reduce task数量。set hive.merge.mapfiles = true --在 map only 的任务结束时合并小文件。---根据实际需要设置。set hive.merge.mapredfiles=true --在有reduce任务结束时合并小文件。
小文件治理之hive文件合并：hive小文件合并的三种方法
spark_dev的博客
03-23 1万+
合并小文件太多的方法： 一、concatenate方法二、insert overwrite方法总结 三、insert overwrite select ＊
【Hive任务优化】—— 小文件合并相关参数
u013332124的专栏
08-31 1万+
set hive.merge.mapfiles=true; set hive.merge.mapredfiles=true; set hive.merge.smallfiles.avgsize=256000000; set hive.merge.size.per.task = 256000000; （未完待续）
hive小文件问题
花花公子
08-13 969
输入小文件： 设置map输入合并小文件的相关参数： //每个Map最大输入大小(这个值决定了合并后文件的数量) set mapred.max.split.size=256000000; //一个节点上split的至少的大小(这个值决定了多个DataNode上的文件是否需要合并) set mapred.min.split.size.per.node=100000000; //一个交换机下s...
解决Hive创建文件数过多的问题
Mr.pan felix的专栏
07-19 1016
一. Hive的创建文件数的限制 Hive对文件创建的总数是有限制的，这个限制取决于参数： hive.exec.max.created.files，默认值是10000。如果现在你的表有60个分区，然后你总共有2000个map，在运行的时候，每一个mapper都会创建60个文件，对应着每一个分区，所以60*2000> 120000，就会报错：exceeds 100000.Killing the job 解决办法： 最简单的解决办法就是调大hive.exec.max.created.files参数
Hive：解决Hive创建文件数过多的问题
Suzy_Leili的博客
09-17 2394
IntelliJ IDEA集成Scala插件——MAC集成步骤进入IntelliJ IDEA点击【Configure】选择并点击进入【plugins】选择【Browse repositoroes】搜索【scala】重启IntelliJ IDEA创建新项目创建包 集成步骤 进入IntelliJ IDEA 点击【Configure】 选择并点击进入【plugins】 选择【Browse repo...
HIVE表数据量和数据记录数的矛与盾
传物易人
07-06 494
  HIVE作为在Hadoop分布式框架下的数据仓库技术，处理大数据量是最基本的诉求，这种海量处理是基于分布式框架，利用分布式存储，分布式计算，利用大集群的资源并行处理海量数据。但是一旦我们不能利用这种分布式并行处理，那么海量数据只能是低效处理了。再往细处说，就是一份海量数据需要多少map来处理，一个map能处理多少数据，这些都制约着数据处理的效率。 HIVE的执行效率问题可以...
HIVE 生成过多小文件的问题
半吊子Kyle的博客
04-16 3995
HIVE 生成过多小文件的问题笔者公司的HIVE现状看下怎么插数会造成小文件过多 今天运维人员突然发来了告警，有一张表生成的小文件太多，很疑惑，然后排查记录了下 笔者公司的HIVE现状 HIVE的版本 2.x，使用的引擎是 MR，该张表是 WEB 开发人员通过 HIVE JDBC 插入的 看下怎么插数会造成小文件过多 ① 建表语句 CREATE TABLE if not exists cust_info ( user_id string COMMENT '用户ID' ,user_name
Hive表有几个T数据包含了20万个Partition,Hive表删除过程
辉哥大数据
07-26 1343
目录 1、需求 2、问题 3、过程 ————————————————————————————- 1、需求 Hive表有几个T数据包含了20万个Partition,需要将hive表删除 2、问题 drop table if exists table_name; 出现的错误信息如下: FAILED: Execution Error, return code 1 fro...
--小文件合并 set hive.merge.mapfiles=true; set hive.merge.mapredfiles=true; set hive.merge.size.per.task=256000000; set hive.merge.smallfiles.avgsize=16000000; --数据倾斜 set hive.map.aggr=true; set hive.groupby.skewindata=true; set hive.optimize.skewjoin=true; set hive.skewjoin.key = 100000; 这些设置对hive on tez生效吗
最新发布
07-31
在 Hive on Tez 中，Hive 的配置参数对于小文件合并（small file merge）和倾斜数据优化（skew data optimization）仍然有效，但其具体行为和生效机制会受到执行引擎（Tez）特性的影响。以下是一些关键点的说明： ### 小文件合并（Small File Merge） 1. **`hive.merge.mapfiles`** 和 **`hive.merge.mapredfiles`**：这两个参数控制是否在 Map-only 或 MapReduce 作业中合并小文件。在 Hive on Tez 中，这些参数仍然适用，但 Tez 的动态分区和任务调度机制可能会对最终的文件合并效果产生影响[^2]。 2. **`hive.merge.size.per.task`**：此参数定义每个任务合并后文件的大小上限，默认为 256 MB。在 Hive on Tez 中，此设置依然有效，但 Tez 的运行时优化可能会影响实际生成的文件数量和大小。 3. **`hive.merge.smallfiles.avgsize`**：当文件的平均大小低于此值时，Hive 会触发小文件合并。该参数在 Hive on Tez 中仍然有效，但需要结合 Tez 的输入分片策略进行调整以达到最佳效果。 ### 倾斜数据优化（Skew Data Optimization） 1. **`hive.groupby.skewindata`**：此参数用于处理 Group By 操作中的数据倾斜问题。当设置为 `true` 时，Hive 会自动对倾斜的 key 进行二次哈希和分发，从而减轻 reducer 的负载不均衡问题。该配置在 Hive on Tez 中依然有效，且其工作机制与 MapReduce 模式下基本一致[^3]。 2. **`hive.optimize.skewjoin`**：此参数用于优化倾斜的 Join 操作。当启用时，Hive 会检测倾斜的 Join 键，并尝试将其拆分为多个子任务进行处理。在 Hive on Tez 中，该参数仍然适用，但 Tez 的 DAG 执行模型可能会提供更灵活的任务调度和资源管理能力，从而进一步优化倾斜 Join 的性能。 ### Hive on Tez 的特殊注意事项 1. **动态分片（Dynamic Partition Pruning）**：在 Hive on Tez 中，动态分片技术可以优化输入数据的读取，减少不必要的数据扫描，这在一定程度上也会影响小文件合并和数据倾斜的表现。 2. **Tez 的并行度控制**：Tez 提供了更细粒度的任务调度和并行度控制机制，例如 `tez.grouping.max-size` 和 `tez.grouping.min-size`，这些参数可以与 Hive 的 `hive.exec.reducers.bytes.per.reducer` 等配置协同工作，影响最终的 reducer 数量和任务执行效率[^2]。 ### 示例配置调整 ```sql -- 启用倾斜 Join 优化 set hive.optimize.skewjoin=true; -- 启用 Group By 数据倾斜优化 set hive.groupby.skewindata=true; -- 设置每个 reducer 的输入大小上限 set hive.exec.reducers.bytes.per.reducer=134217728; -- 128 MB -- 控制是否合并小文件 set hive.merge.mapfiles=true; set hive.merge.mapredfiles=true; set hive.merge.smallfiles.avgsize=16777216; -- 16 MB set hive.merge.size.per.task=268435456; -- 256 MB ``` ### 总结 Hive 的小文件合并和倾斜数据优化配置在 Hive on Tez 中仍然有效，但需要注意 Tez 引擎的特性和运行时行为对这些配置的影响。建议在实际环境中结合具体作业的执行计划和性能指标进行调优。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值