Hive调优

最新推荐文章于 2024-05-15 23:24:14 发布

原创

最新推荐文章于 2024-05-15 23:24:14 发布 · 941 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#hive #hadoop #数据仓库

Hive调优--存储和压缩方式

压缩方式

Hive压缩方式:
概述:
压缩方式就类似于windows的压缩包, 可以降低传输, 提高磁盘利用率.
区分压缩协议好坏的参考维度:
1. 压缩比, 即: 压缩后文件大小.
2. 解压速度, 即: 读的速度.
3. 压缩速度, 即: 写的速度.
推荐使用:
GZIP: 压缩后文件相对较小, 压缩和解压速度相对较慢.
Snappy: 压缩后文件相对大一点, 压缩和解压速度非常快.
问题: 建表的时候, 如何指定压缩方式呢?
答案: tblproperties('com.precess'='snappy');

存储方式

2. Hive表存储方式
   概述:
       分为行存储和列存储两种.
   具体划分:
       行存储: TextFile(默认), SequenceFile
       列存储: ORC(推荐), Parquet
行存储和列存储的区别?
       行存储:
           优点: select * 效率高.
           缺点: select 列效率低, 每列数据类型不一致, 密集度较低, 占用资源较多(CPU, 磁盘, 内存)
       列存储:
           优点: select 列效率高, 每列数据类型一致, 密集度较高, 占用资源较少(CPU, 磁盘, 内存)
           缺点: select * 效率低.
   结论:
       以后建表, 不知道具体如何选择的时候, 推荐: orc(列存储) + snappy(压缩协议)

代码演示

1. 开启hive的压缩方式.

--开启hive支持中间结果的压缩方案
set hive.exec.compress.intermediate=true ;
--开启hive支持最终结果压缩
set hive.exec.compress.output=true;

--开启MR的mapper端压缩操作
set mapreduce.map.output.compress=true;
--设置mapper端压缩的方案
set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;
-- 开启MR的reduce端的压缩方案
set mapreduce.output.fileoutputformat.compress=true;

-- 设置reduce端压缩的方案
set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;
--设置reduce的