hive离线任务优化参参数（在同样条件下，使用了tez从300s+降到200s+）

yisun123456

于 2018-08-28 09:47:17 发布

阅读量782

点赞数

CC 4.0 BY-SA版权

分类专栏： hive

本文链接：https://blog.youkuaiyun.com/yisun123456/article/details/82142724

hive 专栏收录该内容

48 篇文章

订阅专栏

博客围绕Hive离线任务参数优化展开，在相同条件下，使用Tez使任务时间从300s+降至200s+，体现了参数优化对Hive离线任务效率提升的重要作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

set hive.execution.engine=tez;
set mapred.job.name=recommend_user_profile_$idate;
set mapred.reduce.tasks=-1;
set hive.exec.reducers.max=160;
set hive.auto.convert.join=true;
set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=16; 
set hive.optimize.skewjoin=true;
set hive.exec.reducers.bytes.per.reducer=100000000;
set mapred.max.split.size=200000000;
set mapred.min.split.size.per.node=100000000;
set mapred.min.split.size.per.rack=100000000;
set hive.hadoop.supports.splittable.combineinputformat=true;
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;