hive本地模式

 

 

看hive资料会看到hive本地模式这个介绍， 下面是查询网上资料后的一些整理：

 

大多数的Hadoop job是需要hadoop集群来处理大数据的，

不过，有时hive的输入数据量是非常小的。在这种情况下，为查询执行任务的时间消耗可能会比实际job的执行时间要多的多，因此hive0.7版本后Hive开始支持任务执行选择本地模式(local mode)，即任务提交到本地机器处理，数据不从集群中获取。

 

 

使用本地模式需要满足的条件：

 

配置如下参数，可以开启Hive的本地模式：
hive> set hive.exec.mode.local.auto=true;(默认为false)


当一个job满足如下条件才能真正使用本地模式：
1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB)
2.job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4)

3.job的reduce数必须为0或者1

 

 

参考链接：

http://blog.youkuaiyun.com/wisgood/article/details/17383247