Hive调优

---

一、Hive参数设置问题

Hive的参数设置问题:
    概述:
        hive的参数配置, 就是在那里配置hive的参数信息, 根据配置地方不同, 作用范围也不一样.
    配置方式:
        1. set方式进行设置.
        2. 命令行方式进行设置.
        3. 配置文件方式进行设置.
    优先级问题:
        set方式 > 命令行方式 > 配置文件方式
    作用范围:
        set方式 < 命令行方式 < 配置文件方式
    细节:
        1. set方式, 格式为:   set 属性名=属性值;
            例如: set mapreduce.job.reduces=n;
        2. 命令行方式, 就是在启动 hiveserver2服务的时候, 设置的参数.
            nohup hive --service hiveserver2 --hiveconf hive.root.logger=DEBUG,console &
        3. 配置文件方式.
            就是去node1机器中修改  /export/server/hive/conf/hive-site.xml  hive-default.xml文件
        4. 实际开发中, 推荐使用 set方式进行临时设置.

二、Hive调优–存储和压缩方式

1. 压缩方式

  Hive压缩方式:
      概述:
          压缩方式就类似于windows的压缩包, 可以降低传输, 提高磁盘利用率.
      区分压缩协议好坏的参考维度:
          1. 压缩比, 即: 压缩后文件大小.
          2. 解压速度, 即: 读的速度.
          3. 压缩速度, 即: 写的速度.
      推荐使用:
          GZIP:       压缩后文件相对较小, 压缩 和 解压速度相对较慢.
          Snappy:     压缩后文件相对大一点, 压缩 和 解压速度非常快.
      问题: 建表的时候, 如何指定压缩方式呢?
      答案: tblproperties('com.precess'='snappy');

2. 存储方式

  2. Hive表存储方式
  	概述:
  		分为 行存储 和 列存储两种.
  	具体划分:
  		行存储: TextFile(默认), SequenceFile
  		列存储: ORC(推荐), Parquet
  	面试题: 行存储 和 列存储的区别?
  		行存储:
  			优点:  select * 效率高.
  			缺点:  select 列 效率低,  每列数据类型不一致, 密集度较低, 占用资源较多(CPU, 磁盘, 内存)
  		列存储:
  			优点: select 列 效率高,  每列数据类型一致, 密集度较高, 占用资源较少(CPU, 磁盘, 内存)
  			缺点: select * 效率低.
  	结论:
  		以后建表, 不知道具体如何选择的时候, 推荐: orc(列存储) + snappy(压缩协议)

3. 代码演示

  -- ------------------------------- 案例1: 演示 压缩协议 + 存储方式 -------------------------------
  -- 1. 开启hive的压缩方式.
  -- 开启Hive的压缩方式
  --开启hive支持中间结果的压缩方案
  set hive.exec.compress.intermediate=true ;
  --开启hive支持最终结果压缩
  set hive.exec.compress.output=true;
  
  --开启MR的mapper端压缩操作
  set mapreduce.map.output.compress=true;
  --设置mapper端压缩的方案
  set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;
  -- 开启MR的reduce端的压缩方案
  set mapreduce