自0.7版本后，Hive引入了本地模式，适用于数据量较小的任务执行，显著提升效率。通过配置参数，可使job在本地运行，但需满足特定条件：输入数据大小、map数和reduce数等限制。此模式通过控制内存使用和job执行环境，实现快速处理小规模数据操作。
自0.7版本后Hive开始支持任务执行选择本地模式(local mode)，如此一来，对数据量比较小的操作，就可以在本地执行，这样要比提交任务到集群执行效率要快很多。
配置如下参数，可以开启Hive的本地模式：
hive> set hive.exec.mode.local.auto=true;(默认为false)
当一个job满足如下条件才能真正使用本地模式：
1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB)
2.job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4)
3.job的reduce数必须为0或者1
可用参数hive.mapred.local.mem(默认0)控制child jvm使用的最大内存数
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
