Hive优化—-控制hive任务的reduce数

本文介绍了Hive中reduce任务数量的自动确定方法及其对任务执行效率的影响,并提供了两种手动调整reduce数量的方法。此外,还详细说明了如何通过SQL优化减少数据处理量,避免数据倾斜等问题。

转载:http://www.superwu.cn/?p=2123

1. Hive自己如何确定reduce数:
reduce个数的设定极大影响任务执行效率,不指定reduce个数的情况下,Hive会猜测确定一个reduce个数,基于以下两个设定:
hive.exec.reducers.bytes.per.reducer(每个reduce任务处理的数据量,默认为1000^3=1G)
hive.exec.reducers.max(每个任务最大的reduce数,默认为999)
计算reducer数的公式很简单N=min(参数2,总输入数据量/参数1)
即,如果reduce的输入(map的输出)总大小不超过1G,那么只会有一个reduce任务;
如:select pt,count(1) from popt_tbaccountcopy_mes where pt = '2012-07-04' group by pt;
/group/p_sdo_data/p_sdo_data_etl/pt/popt_tbaccountcopy_mes/pt=2012-07-04 总大小为9G多,因此这句有10个reduce

2. 调整reduce个数方法一:
调整hive.exec.reducers.bytes.per.reducer参数的值;
set hive.exec.reducers.bytes.per.reducer=500000000; (500M)
select pt,count(1) from popt_tbaccountcopy_mes where pt = '2012-07-04' group by pt; 这次有20个reduce

3. 调整reduce个数方法二;
set mapred.reduce.tasks = 15;
select pt,count(1) from popt_tbaccountcopy_mes where pt = '2012-07-04' group by pt;这次有15个reduce

4. reduce个数并不是越多越好;
同map一样,启动和初始化reduce也会消耗时间和资源;
另外,有多少个reduce,就会有多少个输出文件,如果生成了很多个小文件,那么如果这些小文件作为下一个任务的输入,则也会出现小文件过多的问题;

5. 什么情况下只有一个reduce;
很多时候你会发现任务中不管数据量多大,不管你有没有设置调整reduce个数的参数,任务中一直都只有一个reduce任务;
其实只有一个reduce任务的情况,除了数据量小于hive.exec.reducers.bytes.per.reducer参数值的情况外,还有以下原因:
a) 没有group by的汇总,比如把select pt,count(1) from popt_tbaccountcopy_mes where pt = '2012-07-04' group by pt; 写成 select count(1) from popt_tbaccountcopy_mes where pt = '2012-07-04';
这点非常常见,希望大家尽量改写。
b) 用了Order by
c) 有笛卡尔积
通常这些情况下,除了找办法来变通和避免,我暂时没有什么好的办法,因为这些操作都是全局的,所以hadoop不得不用一个reduce去完成;

同样的,在设置reduce个数的时候也需要考虑这两个原则:使大数据量利用合适的reduce数;使单个reduce任务处理合适的数据量;

Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。

使用Hive尽量按照分布式计算的一些特点来设计sql,和传统关系型数据库有区别,

所以需要去掉原有关系型数据库下开发的一些固有思维。

基本原则:

1:尽量尽早地过滤数据,减少每个阶段的数据量,对于分区表要加分区,同时只选择需要使用到的字段

select ... from A

join B

on A.key = B.key

where A.userid>10

and B.userid<10

and A.dt='20120417'

and B.dt='20120417';

应该改写为:

select .... from (select .... from A

where dt='201200417'

and userid>10

) a

join ( select .... from B

where dt='201200417'

and userid < 10

) b

on a.key = b.key;

2:尽量原子化操作,尽量避免一个SQL包含复杂逻辑

可以使用中间表来完成复杂的逻辑

drop table if exists tmp_table_1;

create table if not exists tmp_table_1 as

select ......;

drop table if exists tmp_table_2;

create table if not exists tmp_table_2 as

select ......;

drop table if exists result_table;

create table if not exists result_table as

select ......;

drop table if exists tmp_table_1;

drop table if exists tmp_table_2;

3:单个SQL所起的JOB个数尽量控制在5个以下

4:慎重使用mapjoin,一般行数小于2000行,大小小于1M(扩容后可以适当放大)的表才能使用,小表要注意放在join的左边(目前TCL里面很多都小表放在join的右边)。

否则会引起磁盘和内存的大量消耗

5:写SQL要先了解数据本身的特点,如果有join ,group操作的话,要注意是否会有数据倾斜

如果出现数据倾斜,应当做如下处理:

set hive.exec.reducers.max=200;

set mapred.reduce.tasks= 200;---增大Reduce个数

set hive.groupby.mapaggr.checkinterval=100000 ;--这个是group的键对应的记录条数超过这个值则会进行分拆,值根据具体数据量设置

set hive.groupby.skewindata=true; --如果是group by过程出现倾斜 应该设置为true

set hive.skewjoin.key=100000; --这个是join的键对应的记录条数超过这个值则会进行分拆,值根据具体数据量设置

set hive.optimize.skewjoin=true;--如果是join 过程出现倾斜 应该设置为true

6:如果union all的部分个数大于2,或者每个union部分数据量大,应该拆成多个insert into 语句,实际测试过程中,执行时间能提升50%

insert overwite table tablename partition (dt= ....)

select ..... from (

select ... from A

union all

select ... from B

union all

select ... from C

) R

where ...;

可以改写为:

insert into table tablename partition (dt= ....)

select .... from A

WHERE ...;

insert into table tablename partition (dt= ....)

select .... from B

WHERE ...;

insert into table tablename partition (dt= ....)

select .... from C

WHERE ...;

<think>好的,我现在需要帮助用户解决在虚拟机中配置Apache Hive 2.3.0的reduce任务的问题。首先,我得回忆一下Hive的配置相关知识。Hive是基于Hadoop的据仓库工具,所以它的任务执行实际上是由底层的MapReduce框架处理的。因此,配置reduce任务其实是通过调整Hadoop的MapReduce来实现的。 用户提到的是Hive 2.3.0版本,这个版本应该兼容Hadoop 2.x的版本。我需要确认配置文件的正确位置和参名称。通常,Hadoop的配置文件中,如mapred-site.xml,包含了MapReduce的相关设置。另外,Hive本身也有自己的配置文件,比如hive-site.xml,但可能有些参需要直接在Hadoop中配置。 接下来,用户可能已经安装了Hadoop和Hive,并且现在需要调整reduce任务的相关参。常见的需要配置的参包括mapreduce.reduce.memory.mb(设置reduce任务的内存限制)、mapreduce.reduce.java.opts(JVM堆大小)、mapreduce.reduce.cpu.vcores(CPU核心)等。这些参需要合理设置,以确保任务能够高效运行,同不超过虚拟机的资源限制。 我还需要考虑用户可能遇到的问题,比如内存不足导致任务失败,或者JVM参设置不当引起的错误。根据引用[1]中的内容,提到mapreduce.reduce.memory.mb必须大于等于Java的-Xmx参,否则VM可能无法启动。所以需要提醒用户注意这一点。 另外,用户可能在配置完成后需要测试配置是否生效,比如运行一个Hive查询,观察日志或使用Hadoop的管理界面来确认reduce任务的内存和资源分配是否正确。引用[2]中的例子展示了如何检查HDFS的输出结果,这可能对用户验证任务是否执行成功有帮助。 用户可能还不太清楚具体需要修改哪些配置文件,所以需要详细说明步骤,比如修改mapred-site.xml,然后重启Hadoop服务。同,可能需要指导用户如何应用这些配置,比如在Hive会话中设置属性,或者全局配置。 最后,考虑到用户是在虚拟机环境中配置,资源可能有限,需要提醒用户根据虚拟机的实际资源情况调整参,避免分配过多内存导致系统不稳定。此外,生成的相关问题可能涉及性能调优、错误处理等方面,帮助用户进一步了解和解决问题。</think>在Apache Hive 2.3.0中配置reduce任务,本质上是配置底层MapReduce框架参。以下是具体步骤: ### 一、配置MapReduce 1. 修改Hadoop配置文件`mapred-site.xml`: ```xml <!-- 设置单个Reduce任务内存限制 --> <property> <name>mapreduce.reduce.memory.mb</name> <value>2048</value> <!-- 根据虚拟机内存调整 --> </property> <!-- 设置Reduce任务的JVM堆大小 --> <property> <name>mapreduce.reduce.java.opts</name> <value>-Xmx1536m</value> <!-- 必须小于等于mapreduce.reduce.memory.mb[^1] --> </property> <!-- 设置Reduce任务并行度 --> <property> <name>mapreduce.job.reduces</name> <value>3</value> <!-- 默认根据据量自动分配 --> </property> ``` ### 二、Hive会话级配置 在Hive CLI或Beeline中动态设置: ```sql -- 设置单个Reduce处理的据量(单位:字节) SET hive.exec.reducers.bytes.per.reducer=256000000; -- 设置最大Reduce量 SET hive.exec.reducers.max=10; -- 强制指定Reduce量 SET mapreduce.job.reduces=5; ``` ### 三、验证配置 1. 运行测试查询: ```sql SELECT COUNT(*) FROM table_name GROUP BY column; ``` 2. 查看YARN资源管理界面或执行: ```bash yarn application -list ``` 3. 检查HDFS输出文件: ```bash hadoop fs -ls /output ``` 若看到类似`part-r-00000`的reduce输出文件表示成功[^2] ### 四、关键参说明 | 参 | 作用 | 推荐值范围 | |------|------|-----------| | `mapreduce.reduce.memory.mb` | 容器内存 | 1024-4096MB | | `mapreduce.reduce.java.opts` | JVM堆内存 | 容器内存的75% | | `mapreduce.job.reduces` | Reduce任务 | 根据据量自动计算 |
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值