Hive压缩优化 - 压缩格式

最新推荐文章于 2022-07-29 10:56:16 发布
原创 最新推荐文章于 2022-07-29 10:56:16 发布 · 457 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了在生产环境中，随着平台数据量的增加，如何利用Hadoop支持的GZip、BZip2等压缩格式来应对数据存储的挑战，分析了不同压缩格式的压缩比和时间效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在生产环境中，随着平台数据量的不断增大，数据的存储面临着一定的挑战，除了能够横向扩展存储集群存储能力
外，还可以通过压缩技术减少文件的大小。

GZip 和 BZip2压缩格式是所有最近的hadoop版本支持的，linux本地的库也支持这种格式的压缩和解压缩。

压缩比：Snappy：50% lz4:50% lzo:48% gzip:31% bzip:27%

压缩时间从快到慢排序：Snappy > lzo > GZIP > BZIP2

支持可分割性：BZIP2   LZO(必须设索引)

 

 

chao.ff
关注
Hive 优化案例1: Hive 压缩
qq_20519927的博客
06-07 227
MapReduce 支持的压缩编码 压缩格式 是否可切分 DEFAULT 否 Gzip 否 bzip2 是 LZO 是 Snappy 否 压缩参数配置 输入端压缩 io.compression.codecs org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2C
hive优化-压缩处理
tianqinglei的博客
08-22 596
[压缩] 1.设置mr中间的压缩处理 //设置中间结果是否可压缩,多次job的中间结果是否压缩处理。 SET hive.exec.compress.intermediate=true //设置结果压缩编解码器 SET hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec //是
hive压缩优化-01
Niki20034655的博客
01-23 250
压缩优化 --查看hive支持的压缩类型 set io.compression.codecs; --开启hive中间压缩,对于hadoop job的是mapred.compress.map.output，并设置压缩为snappy压缩 set hive.exec.compress.intermediate=true; mapred.map.output.compression.code...
Hive中数据压缩（企业优化）
Yukaola的博客
04-06 595
二 、配置mapreduce和hive中使用snappy压缩        将snappy解压，将Lib下的native复制到hadoop下的lib  1、 实际就是对mapreduce过程中数据进行压缩2、hadoop支持的压缩格式3、在mapreduce中设置压缩4、在hive中设置压缩5、数据文件格式       数据存储 * 按行存储数据：TEXTFILE      * 按列存储数据:  ...
大数据开发之Hive优化篇7-Hive的压缩
只是甲的博客
06-16 8057
备注: Hive 版本 2.1.1 文章目录一.Hive压缩概述1.1 常见压缩算法比较1.2 开启压缩二.压缩测试2.1 测试Orc文件压缩格式2.2 textfile文件格式测试参考: 一.Hive压缩概述 一般在hadoop集群上运行一个MapReduce会有以下步骤： input-> Map-> shuffle -> reduce -> output 如果我们采用了数据压缩，在map阶段产生的数据大小就会减少，会减少磁盘的IO，同时还能够减少网络的IO。 1.1 常见压缩算法
hive-3.1.3 hive-3.1.3 hive-3.1.3
最新发布
01-22
由于提供的信息中，标题、描述和标签的内容完全相同，均为“hive-3.1.3”，且压缩包子文件的文件名称列表只提供了一个数字“2”，没有具体的文件名称信息，因此无法根据这些内容生成具体的知识点。为了满足您的要求...
apache-hive-3.1.2-bin.tar.gz
06-24
标题中的"apache-hive-3.1.2-bin.tar.gz"表明这是一个Hive 3.1.2的二进制发行版，以tar.gz格式压缩。这种压缩包通常包含Hive的可执行文件、库文件、配置文件以及必要的脚本，用于在Linux或Unix环境中快速部署和运行...
apache-hive资源 apache-hive-2.3.2-bin tar文件
10-21
随着数据量的不断增长，Hive提供了优化查询执行的手段，比如分区和桶技术，这些技术可以优化Hive对数据的查询速度和效率。 当用户需要备份和迁移Hive环境时，通常会将安装目录打包成压缩文件进行存储。压缩文件可以...
hive-exec-2.1.1.jar
04-14
同时，Hive的性能可以通过优化元数据、分区策略、并行执行、压缩等方式进一步提升。 总的来说，理解Hive及其相关组件的工作原理，以及如何解决特定问题，对于大数据分析师和数据工程师来说至关重要。正确配置和使用...
apache-hive-2.1.1-bin.tar.gz下的bin文件夹，包含hive.cmd
02-11
此外，Hive还支持多种存储格式，如TextFile、ORC、Parquet，选择合适的存储格式可以有效地压缩数据，减少存储空间并提升查询速度。 总的来说，"apache-hive-2.1.1-bin.tar.gz"中的`bin`文件夹及其包含的`hive.cmd`...
hive压缩
jyl1798的专栏
08-15 4028
hive采用压缩进行性能优化
大数据框架Hive——Hive的优化：中间表、设置压缩格式、列式存储、列式存储格式结合压缩格式
蚂蚁
07-12 3469
Hive优化——中间表 为什么使用中间表 一张大的表中，常涉及几十到上百个字段 但是分析数据时需要的数据，只有几个字段 但如果此时分析原表，需要扫描的字段就太多了 那么，可以将需要使用到的字段抽取出来，存放到另一张表中 可以节省时间，可以理解为使用了更多的空间换取更快的执行速度 使用中间表的方法 方法一：抽取字段，建立新表 该方法就是建立一张新的表，表中的字段是从大表中抽取出的部...
2022-07-29 Hive压缩、文件存储格式、优化
D___H的博客
07-29 477
Hive压缩、文件存储格式、优化
HIVE压缩格式
圣贤的博客
04-20 405
HIVE压缩 开启中间压缩 开启中间压缩可以减少job中map和reduce task间数据传输量 hive.exec.compress.intermediate=true/false Hadoop默认编/解码器是 DefaultCodec。可以通过属性 mapred.map.output.compression.codec值进行修改。SnappyCodec是一个比较好的中间文件压缩编/解码器，因...
Hive(四):之Compression(4)----常见压缩的Demo测试、性能比较
huonan_123的博客
12-04 430
Hive--Compression 这里只是在单机上对18M的数据进行测试 数据下载地址:https://pan.baidu.com/s/12keSnetSRkSxdQFxxcnRGg 准备数据 load data local inpath '/home/hadoop/data/hive-test-data/page_views.dat' overwrite into table page_views; 测试对比 ...
hive压缩格式
主要写大数据集群一线运维和学习工作经验
12-17 798
Table of Contents ORC Files ORC 文件格式 文件结构 Stripe Structure HiveQL Syntax hivesql语法 Serialization and Compression 序列化和压缩 Integer Column Serialization 整型列序列化 String Column Serialization 字符串列序列化 ...
Hive格式各种格式下不同压缩算法的比较
weixin_34043301的博客
06-14 146
为什么80%的码农都做不了架构师？>>> ...
Hive压缩方式设置
迷茫君的博客
08-14 2334
Map 输出阶段 开启 map 输出阶段压缩可以减少 job 中 map 和 reduce task 之间数据传输量。 具体配置如下： #开启 hive 中间传输数据压缩功能 hive (bigdata)> set hive.exec.compress.intermediate=true; #开启 mapreduce 中 map 输出压缩功能 hive (bigdata)> se...
【Hive】压缩格式
Just Do IT
06-29 4808
常见压缩格式 压缩方式 压缩比 压缩速度 解压缩速度 是否可分割 gzip 13.4% 21 MB/s 118 MB/s 否 bzip2 13.2% 2.4MB/s 9.5MB/s 是 lzo 20.5% 135 MB/s 410 MB/s 是 snappy 22.2% 172 MB/s 409 MB/s 否 压缩格式对应的编/解码器 压缩格式 对应的编/解码器 DEFLATE org.apache.hadoop.io.compress.DefaultCode
Apache Hive性能优化指南-HDP3.1.0
- ORC（Optimized Row Columnar）是Hive的一种高效存储格式，可以压缩数据，提高读写速度。 - 配置高级ORC属性，如压缩级别、 stripe大小等，以优化存储和I/O性能。 11. **利用分区提升性能**： - 数据分区是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值