set hive.exec.mode.local.auto=true

最新推荐文章于 2022-10-16 20:50:42 发布

手把手教你学AI

最新推荐文章于 2022-10-16 20:50:42 发布

阅读量2.6k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： hadoop 源代码文章标签：大数据

本文链接：https://blog.youkuaiyun.com/zhaomengsen/article/details/84597605

hadoop 源代码专栏收录该内容

43 篇文章

订阅专栏

从0.7版本开始，Hive支持本地模式执行任务，适用于小数据集处理。通过调整配置参数，如输入数据大小限制、Map任务数量等，可以在单机上高效运行查询。这种方式减少了任务启动时间，显著提高了执行效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

0.7版本后Hive开始支持任务执行选择本地模式(local mode)。大多数的Hadoop job是需要hadoop提供的完整的可扩展性来处理大数据的。不过，有时hive的输入数据量是非常小的。在这种情况下，为查询出发执行任务的时间消耗可能会比实际job的执行时间要多的多。对于大多数这种情况，hive可以通过本地模式在单台机器上处理所有的任务。对于小数据集，执行时间会明显被缩短。

如此一来，对数据量比较小的操作，就可以在本地执行，这样要比提交任务到集群执行效率要快很多。

配置如下参数，可以开启Hive的本地模式：
hive> set hive.exec.mode.local.auto=true;(默认为false)

当一个job满足如下条件才能真正使用本地模式：
1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB)
2.job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4)
3.job的reduce数必须为0或者1

可以设置这三个参数
hive> set hive.exec.mode.local.auto=true;
hive> set hive.exec.mode.local.auto.inputbytes.max=50000000;
hive> set hive.exec.mode.local.auto.tasks.max=10;

参看
http://blog.youkuaiyun.com/wisgood/article/details/17383247