hive的数据压缩

hive的数据压缩

在实际工作当中,hive当中处理的数据,一般都需要经过压缩,前期我们在学习hadoop的时候,已经配置过hadoop的压缩,我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽

1、MR支持的压缩编码

压缩格式

工具

算法

文件扩展名

是否可切分

DEFAULT

DEFAULT

.deflate

Gzip

gzip

DEFAULT

.gz

bzip2

bzip2

bzip2

.bz2

LZO

lzop

LZO

.lzo

LZ4

LZ4

.lz4

Snappy

Snappy

.snappy

为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器,如下表所示

压缩格式

对应的编码/解码器

DEFLATE

org.apache.hadoop.io.compress.DefaultCodec

gzip

org.apache.hadoop.io.compress.GzipCodec

bzip2

org.apache.hadoop.io.compress.BZip2Codec

LZO

com.hadoop.compression.lzo.LzopCodec

LZ4

org.apache.hadoop.io.compress.Lz4Codec

Snappy

org.apache.hadoop.io.compress.SnappyCodec

压缩性能的比较

压缩算法

原始文件大小

压缩文件大小

压缩速度

解压速度

gzip

8.3GB

1.8GB

17.5MB/s

58MB/s

bzip2

8.3GB

1.1GB

2.4MB/s

9.5MB/s

LZO

8.3GB

2.9GB

49.3MB/s

74.6MB/s

http://google.github.io/snappy/

On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or more.

.2、压缩配置参数

要在Hadoop中启用压缩,可以配置如下参数(mapred-site.xml文件中):

参数

默认值

阶段

建议

io.compression.codecs   

(在core-site.xml中配置)

org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec,

org.apache.hadoop.io.compress.Lz4Codec

输入压缩

Hadoop使用文件扩展名判断是否支持某种编解码器

mapreduce.map.output.compress

false

mapper输出

这个参数设为true启用压缩

mapreduce.map.output.compress.codec

org.apache.hadoop.io.compress.DefaultCodec

mapper输出

使用LZO、LZ4或snappy编解码器在此阶段压缩数据

mapreduce.output.fileoutputformat.compress

false

reducer输出

这个参数设为true启用压缩

mapreduce.output.fileoutputformat.compress.codec

org.apache.hadoop.io.compress. DefaultCodec

reducer输出

使用标准工具或者编解码器,如gzip和bzip2

mapreduce.output.fileoutputformat.compress.type

RECORD

reducer输出

SequenceFile输出使用的压缩类型:NONE和BLOCK

 

 

3、开启Map输出阶段压缩

开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量。具体配置如下:

案例实操:

1)开启hive中间传输数据压缩功能

hive (default)>set hive.exec.compress.intermediate=true;

2)开启mapreduce中map输出压缩功能

hive (default)>set mapreduce.map.output.compress=true;

3)设置mapreduce中map输出数据的压缩方式

hive (default)>set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;

4)执行查询语句

select count(1) from score;

4 开启Reduce输出阶段压缩

当Hive将输出写入到表中时,输出内容同样可以进行压缩。属性hive.exec.compress.output控制着这个功能。用户可能需要保持默认设置文件中的默认值false,这样默认的输出就是非压缩的纯文本文件了。用户可以通过在查询语句或执行脚本中设置这个值为true,来开启输出结果压缩功能。

案例实操

1)开启hive最终输出数据压缩功能

hive (default)>set hive.exec.compress.output=true;

2)开启mapreduce最终输出数据压缩

hive (default)>set mapreduce.output.fileoutputformat.compress=true;

3)设置mapreduce最终数据输出压缩方式

hive (default)> set mapreduce.output.fileoutputformat.compress.codec = org.apache.hadoop.io.compress.SnappyCodec;  

4)设置mapreduce最终数据输出压缩为块压缩

hive (default)>set mapreduce.output.fileoutputformat.compress.type=BLOCK;

5)测试一下输出结果是否是压缩文件

insert overwrite local directory '/export/servers/snappy' select * from score distribute by s_id sort by s_id desc;

 

转载于:https://www.cnblogs.com/alexzhang92/p/11051655.html

### Hive 数据压缩方式及其实现 #### 开启中间传输数据压缩功能 为了提高性能和减少网络带宽消耗,在Hive中可以通过配置参数来启用中间传输数据压缩。具体命令如下: ```sql SET hive.exec.compress.intermediate=true; ``` 这会使得Map阶段产生的临时文件被压缩后再传递给Reduce阶段,从而减少了I/O开销[^1]。 #### 设置最终输出数据压缩选项 对于最终输出的结果集同样可以应用压缩技术以节省磁盘空间。通过下面两个指令可完成此操作: ```sql -- 启用最终输出结果的压缩 SET mapreduce.output.fileoutputformat.compress=true; -- 指定具体的压缩算法(如Gzip, BZip2等) SET mapreduce.output.fileoutputformat.compress.codec=org.apache.hadoop.io.compress.GzipCodec; ``` 这里`compress.codec`属性决定了采用哪种编码方式进行压缩,默认情况下可以选择多种不同的编解码器,例如gzip、bzip2或snappy等高效无损压缩工具[^3]。 #### 压缩格式的选择依据 当决定使用何种类型的压缩方案时,需考虑实际业务需求以及硬件资源状况。如果目标是在不影响读取速率的前提下尽可能减小文件体积,则应优先选用高压缩比但相对耗时较长的方法;反之则倾向于那些执行速度快而压缩效果一般的策略。此外还需注意某些特定场合下的特殊要求,比如保持文件分割性和向后兼容性等问题[^2]。 #### 使用ORC文件格式优化存储结构 除了传统的基于行记录的传统文本形式外,还可以利用更先进的列式布局来进行组织化管理。像ORC这样的高级二进制序列化机制不仅具备良好的压缩特性,还允许快速定位所需字段位置进而提升查询响应时间。因此非常适合处理大规模数据分析任务[^4]。 #### 处理NULL值引发的数据倾斜现象 针对因为空缺项过多而导致连接运算低效的问题,一种有效的解决方案是对这些缺失部分实施“加盐”变换——即将其转换成带有随机因子的新标记串,以此确保后续分组聚合过程中的负载均衡状态得以维持良好水平[^5]。 ```python import random from pyspark.sql import SparkSession spark = SparkSession.builder.appName("NullHandling").getOrCreate() def add_salt(column_value): salt_str = str(random.randint(1000,9999)) return f"{column_value}_{salt_str}" if column_value is None else column_value df_with_salt = df.withColumn("new_column", add_salt(df["original_column"])) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值