hive set 参数设置

查询

【行转列功能】
-- 打印列名
set hive.cli.print.header=true;
-- 开启行转列功能, 前提必须开启打印列名功能
set hive.cli.print.row.to.vertical=true;
-- 设置每行显示的列数
set hive.cli.print.row.to.vertical.num=1;
-- 显示当前数据库
set hive.cli.print.current.db=true;

动态分区

-- 开启动态分区
set hive.exec.dynamic.partition=true;

-- 动态分区参数设置
set hive.exec.max.dynamic.partitions = 130000;
set hive.exec.max.dynamic.partitions.pernode = 130000;
set hive.exec.max.created.files = 200000;

-- 这个属性默认值是strict,就是要求分区字段必须有一个是静态的分区值，设置为nonstrict,那么可以全部动态分区；
set hive.exec.dynamic.partition.mode=nonstrict; 

调优

-- 设置mapjoin，join时把小表加载到内存，对大表进行map操作，join就发生在map操作时，没有reduce(shuffle)过程
set hive.auto.convert.join = true;

-- Map Task、Reduce Task需要的CPU个数、内存量
set mapreduce.map.cpu.vcores = 4;
set mapreduce.reduce.cpu.vcores = 8;
set mapreduce.map.memory.mb = 8192;
set mapreduce.reduce.memory.mb = 10500;

-- MR ApplicationMaster占用的内存量
set yarn.app.mapreduce.am.resource.mb = 10000;
set yarn.app.mapreduce.am.command - opts = - Xmx10000m;

-- 设置Map、reduce任务JVM的堆空间大小，默认-Xmx1024m
set mapreduce.map.java.opts = - Xmx9192m;
set mapreduce.reduce.java.opts = - Xmx10000m;

-- 设置任务优先级
set mapred.job.priority = VERY_HIGH;

-- 设置默认文件格式
set hive.default.fileformat = Orc;

union操作

-- 设置在同一个sql中的不同的job是否可以同时运行,默认为false.
set hive.exec.parallel=true
-- 同时可以运行的job的最大值，默认为8，比如union操作
set hive.exec.parallel.thread.number = 16;

合并小文件

【合并输入文件】
-- 每个Map最大输入大小
set mapred.max.split.size=128000000;
-- 一个节点上split的至少的大小
set mapred.min.split.size.per.node=100000000;
-- 一个交换机下split的至少的大小
set mapred.min.split.size.per.rack=100000000;
-- 执行Map前进行小文件合并
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

【合并输出文件】
-- 在Map-only的任务结束时合并小文件
set hive.merge.mapfiles=true;
-- 在Map-Reduce的任务结束时合并小文件
set hive.merge.mapredfiles = true;
-- 合并文件的大小
set hive.merge.size.per.task = 134217728;
-- 当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge
set hive.merge.smallfiles.avgsize=16000000;