hive.exec.parallel参数控制在同一个sql中的不同的job是否可以同时运行,默认为false.
下面是对于该参数的测试过程:
测试sql:
select r1.a
from
(select t.a from sunwg_10 t join sunwg_10000000 s on t.a=s.b) r1
join
(select s.b from sunwg_100000 t join sunwg_10 s on t.a=s.b) r2
on (r1.a=r2.b);
1
Set hive.exec.parallel=false;
当参数为false的时候,三个job是顺序的执行
2
但是可以看出来其实两个子查询中的sql并无关系,可以并行的跑
总结:
在资源充足的时候hive.exec.parallel会让那些存在并发job的sql运行得更快,但同时消耗更多的资源。
本文通过一个具体的 SQL 查询案例介绍了 Hive 中 hive.exec.parallel 参数的作用。该参数控制着 SQL 执行过程中不同任务间的并行度。实测显示,在资源充足的情况下启用此参数能有效提升查询效率。
190

被折叠的 条评论
为什么被折叠?



