笔记十二:Hive调优

参数配置优化

（1）配置Hive文件

具有全局性

a）用户自定义配置文件：$HIVE_CONF_DIR/hive-site.xml 

b）默认配置文件：$HIVE_CONF_DIR/hive-default.xml.template 
# 当用户自定义配置后，会覆盖默认配置

#因为Hive是作为Hadoop的客户端环境下启动，而Hive的配置会覆盖Hadoop的配置
#不推荐使用

（2）命令行参数配置

# 启动Hive时，在命令行添加-hiveconf param=value来设定参数
# 只要通过Beeline连接的这个hiveserver2的客户端都有效
# 但只在当前窗口下生效，一旦关闭窗口，则失效
hive --service hiveserver2 --hiveconf hive.root.logger=DEBUG,console

（3）设定参数声明(推荐使用 )

设定参数声明需要使用到set关键字

-- 查看
set mapreduce.job.reduces;
-- 设定reduce数量
set mapreduce.job.reduces = 3;

设定Fetch抓取策略

Hive默认自动优化了：Fetch抓取策略

在某些简单操作下避免走MapReduce程序，有效提升了执行效率

-- 设置Fetch本地抓取策略
hive