hive调优

1、hive code2 增大资源配置

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
set hive.exec.max.dynamic.partitions=80000;
set hive.exec.max.dynamic.partitions.pernode=10000;
set mapreduce.map.memory.mb=8192; 
set mapreduce.reduce.memory.mb=8192;
set mapred.max.split.size=536870912;
set hive.exec.reducers.bytes.per.reducer=536870912;
set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=4;
set hive.exec.max.created.files=655350;

2、Stage一直停留在map = 0%, reduce = 0%阶段

原因:分配map数量少,一个map处理的数据多,处理速度慢

解决:增加map的数据

方法:

set mapred.max.split.size=64000000;

参数 mapred.max.split.size 用于配置map处理文件的大小,默认是256000000;减少map处理文件的大小,即可增加map的数量

在大数据处理中,Hive作为常用的数据仓库工具,其性能化是提升数据处理效率的关键环节。以下从查询化、配置和数据存储化三个方面,详细阐述Hive的性能化方法。 ### 查询化 1. **避免全表扫描**:合理使用分区和分桶技术可以有效减少需要扫描的数据量,从而加快查询速度。例如,在创建表时指定`PARTITIONED BY`字段,可以将数据按照某个维度进行划分,查询时仅扫描相关分区[^1]。 2. **使用合适的JOIN策略**:Hive支持多种JOIN操作,包括Map Join、Common Join等。对于小表与大表的连接,推荐使用Map Join,这样可以在Map阶段完成连接操作,避免Reduce阶段带来的延迟。 3. **化LIMIT子句**:通过设置`hive.limit.optimize.enable=true`,可以开启pushdown LIMIT子句化,使得LIMIT子句被推送到子查询中执行,从而减少不必要的数据读取[^2]。 4. **合理使用索引**:虽然Hive不支持传统意义上的索引,但可以通过建立位图索引等方式来加速某些类型的查询[^1]。 ### 配置 1. **MapReduce任务数量**:通过修改`mapreduce.job.reduces`参数,可以控制Reduce任务的数量,进而影响最终输出文件的数量。适当增加Reduce任务数可以提高并行度,但也可能导致小文件问题。因此,需要根据实际情况进行权衡。 2. **启用压缩**:在Hive中启用中间数据和最终输出数据的压缩功能,不仅可以减少磁盘I/O,还能降低网络传输成本。常用的压缩算法有GZIP、SNAPPY等,可通过`hive.exec.compress.intermediate`和`hive.exec.compress.output`参数进行配置[^1]。 3. **整内存分配**:合理设置JVM堆内存大小,可以避免频繁的垃圾回收操作,提高任务执行效率。这通常涉及到`mapreduce.map.java.opts`和`mapreduce.reduce.java.opts`等参数的整。 ### 数据存储化 1. **选择合适的数据格式**:Hive支持多种数据存储格式,如TextFile、SequenceFile、ORC、Parquet等。其中,列式存储格式(如ORC、Parquet)能够显著提高查询性能,因为它们允许只读取查询所需的部分数据[^1]。 2. **数据分区与分桶**:除了用于查询化外,合理的分区和分桶策略还可以改善数据存储结构,使得数据分布更加均匀,有助于提升查询性能。 3. **定期清理无用数据**:随着时间的推移,数据仓库中可能会积累大量不再使用的旧数据。定期清理这些数据不仅可以释放存储空间,也有助于保持良好的查询性能[^1]。 综上所述,通过对查询逻辑的化、配置参数的整以及数据存储方式的选择,可以有效地提升Hive的性能表现,满足大规模数据处理的需求。 ```sql -- 示例:创建一个带有分区的表 CREATE TABLE sales ( sale_id INT, product STRING, amount DOUBLE ) PARTITIONED BY (dt STRING); ``` ```xml <!-- 示例:Hive配置文件中的部分配置 --> <property> <name>hive.limit.optimize.enable</name> <value>true</value> </property> ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值