hive parquet table 配置压缩

最新推荐文章于 2025-06-23 10:14:22 发布
原创 最新推荐文章于 2025-06-23 10:14:22 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#parquet 

本文通过实测对比了不同压缩方式下Hive Parquet表的存储效果，原始700M数据采用gzip压缩后仅占16.7M，而snappy压缩则为60.3M。文章强调了指定压缩类型对于降低存储成本的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近用hivecontext 向hive parquet表中插入数据，发现了一个问题：总量700M的数据在parquet表中竟然有600M。

百度，发现了这个：https://blog.youkuaiyun.com/xiao_jun_0820/article/details/76893331

再看看自己的建表语句，确实没有指定压缩。

指定一下：


得到结果：gzip、文本形式的、snappy、默认parquet 的大小分别是：16.7M、705.2M、60.3M、603.6M


Hive 存储与压缩
JIE的博客 --- moon_coder
11-01 2443
通过对存储效率与压缩效率，综合时间效率，在实际生产过程中，我们一般使用 ORC 或 Parquet 作为 Hive 表的数据存储格式，而压缩方式则推荐使用SNAPPY 作为压缩策略。
[Hive基础]-- Hive table 的压缩方式和存储格式
欢迎来到我的博客，一起探索代码里的世界！
04-06 2703
一、了解 Hadoop 的压缩方式 1.Hadoop 的压缩方式的基本信息 压缩格式 扩展名 多文件 支持切片 压缩比排行 解压速度排行 工具 hadoop自带 gzip .gz 否 否 2 3 gzip 是 bzip2 .bz2 是 是 1 4 bzip2 是 lzo .lzo 否 是 3 2 lzop 否 snappy
HIVE解决存储文件类型为“Parquet”，并启 用行级压缩
2403_88719012的博客
11-06 732
设置 Parquet 压缩：你可以在创建表时通过 STORED AS PARQUET 语句和 TBLPROPERTIES 来设置压缩算法。
Hive ---- 文件格式和压缩
是微风，是晚霞，是无可替代
05-30 3958
为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：Hadoop查看支持压缩的方式hadoop checknative。Hadoop在driver端设置压缩。
Parquet 入门详解：深入浅出全解析
最新发布
HaSaKing的博客
06-23 1322
摘要 Parquet是一种针对大数据的列式存储格式，解决了传统CSV/JSON文件效率低下的问题。其核心优势在于：1）列式存储只需读取查询字段，显著提升效率；2）同列数据类型相似，压缩率高；3）支持复杂嵌套结构；4）兼容主流大数据工具。相比行式存储，Parquet在数据分析场景中可减少I/O和存储空间，特别适合数据湖、报表分析和机器学习特征库。虽然无法直接查看二进制内容，但可通过Pandas/PyArrow等工具轻松操作。作为大数据领域的重要存储方案，掌握Parquet能显著提升数据处理效率。
hive 表存储大小_hive 压缩和存储
weixin_42126865的博客
01-14 878
hadoop checknative:查看hadoop支持的压缩类型一、开启Map输出阶段压缩开启map输出阶段压缩可以减少job中map和Reduce task间数据传输量1．查看Hadoop支持的压缩方式set io.compression.codecs;1．开启hive中间传输数据压缩功能set hive.exec.compress.intermediate=true;2．开启mapredu...
Hive Parquet配置
热门推荐
BHQ的技术学习
01-30 1万+
parquet的配置主要包括： parquet.compression.codec parquet.block.size parquet.page.size 等，详见： https://github.com/Parquet/parquet-mr/blob/master/parquet-hadoop/src/main/java/parquet/hadoop/ParquetOutputFor
Hive 存储parquet格式
gmHappy
02-02 2515
创建存储格式为parquet的hive表 CREATE TABLE parquet_table(age INT, name STRING)STORED AS PARQUET; 指定parquet写文件的压缩编码方式 支持类型："uncompressed", "snappy", "gzip", "lzo" Snappy压缩具有更好的性能，Gzip压缩具有更好的压缩比。 hive中支持对parquet的配置,主要有： parquet.compression parquet.block.size parque
hive创建分区表 parquet格式存储 gzip压缩 动态分区
Learning
06-17 2648
建表 create table table_name (id string, name stirng, score double) partitioned by (dt string) STORED AS PARQUET TBLPROPERTIES('parquet.compression'='gzip');
HIve之ORC与Parquet
二锅头的博客
06-25 3083
Orc与parquet的区别 表类型 默认压缩 压缩格式 描述 Orc Zlib Node、Zlib、Snappy Orc可以选择Zlib或Snappy压缩，Snappy需要额外安装 Parquet Uncompressed Uncompressed、Snappy、Gzip、Lzo Parquet使用gzip压缩率高，使用lzo、snappy效率高 ORC列式存储 但支持的压缩格式有限，Orc表支持None、Zlib、Snappy压缩，默认支持Zlib压缩。但这3种压缩格式不支持切
Hive修改Parquet存储的表字段类型
扶摇升的IT博客
08-14 2659
Hive数据表的存储支持多种方式，纯文本和Parque其中的两种。 纯文本的优势在于简单，可读，缺点在于无压缩，效率；Parque的优势在于计算高效，可压缩的列存储模式，缺点在于比纯文本多了一层定义带来的复杂性。 Hive数据表的字段修改，可以通过 alter table name change column column_name new_column_name type; 进行重命名和（或）类型修改。 文本文件由于其天然的简单性，数据中不含有类型信息，完全为数据本身，类型信息完全由Hive进行维护，所
hive动态分区问题总结
雾岛与鲸的博客
07-12 3479
Hive 配置动态分区 insert into table xxx partition(xxxx) select ... 使用动态分区时首先需要的一些配置： 是否开启动态分区 hive.exec.dynamic.partition 动态分区是否使用严格模式 hive.exec.dynamic.partition.mode MR总共可创建最大分区数 hive.exec.max.dynamic.partition.partitions（默认1000） 当前节点可创建的最大分区数 hive.exec.max.
关于面试--【hive parquet数据格式内部结构】
hxiaowang的博客
06-21 3509
1创建表 create table parquet_log( events string, header map<string,string> ) STORED AS PARQUET; CREATE TABLE dwt.tmp_detail_pc_channel Stored AS parquet ASselect *form 2PARQUET 我们的开源项目Parquet是Hadoop上的一种支持列式存储文件格式，起初只是Twitter和Coudera在合...
Hive数仓中存储格式ORC和Parquet，压缩方式LZO和Snappy
帅成一匹马
03-08 1万+
在数仓中，建议大家除了接口表（从其他数据库导入或者是最后要导出到其他数据库的表），其余表的存储格式与压缩格式保持一致。 我们先来说一下目前Hive表主流的存储格式与压缩方式 文件存储格式 从Hive官网得知，Apache Hive支持Apache Hadoop中使用的几种熟悉的文件格式，如TextFile（文本格式），RCFile（行列式文件），SequenceFile（二进制序列化文件），AVRO，ORC（优化的行列式文件）和Parquet格式，而这其中我们目前使用最多的是TextFile，Se..
Hive的Parquet存储与LZO压缩
H_hello_world的博客
04-18 3946
在Hive中，为我们提供了五种文件存储格式 1、Textfile 2、Sequencefile 3、Rcfile 4、Orcfile 5、Parquet 这里主要介绍一下Parquet，列式存储 一、概念 1、Apache Parquet是Hadoop生态圈中一种新型列式存储格式，它可以兼容Hadoop生态圈中大多数计算框架(Mapreduce、Spark等)，被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。Parquet最初是由Twitter和Cloudera合作
​Hive插入parquet格式进行压缩​
张伟的专栏
05-08 1767
由于几张大表需要备份下线，由于有3T，单机磁盘空间问题，需要先压缩，下载本地，看了不少都比较复杂，了解有这个方面，测试还可以。 创建parquet table : create table tabname(a int,b int) STORED AS PARQUET; 创建带压缩的parquet table: create table tabname(a int,b int) STORED AS PARQUET TBLPROPERTIES('parquet.compression'='SNAPPY');
Hive压缩存储（以Parquet为例）
SunnyRivers
01-09 2147
前言 前面说了，HDFS上的数据在生产环境中一定是以压缩格式存储的，那么在Hive中如何使勇Parquet格式存储数据呢？ 测试数据 在本地服务器上面vim test.txt 1,zs 2,ls 3,ww 4,zl 由于我们一般接到的数据都是gzip压缩的文件，这里就将文件压缩为gzip gzip -c test.txt > .test.gz 错误的方式 创建parquet的hive表...
hive parquet table 配置使用压缩
xiao_jun_0820的专栏
08-08 1万+
创建parquet table : create table mytable(a int,b int) STORED AS PARQUET; 创建带压缩的parquet table: create table mytable(a int,b int) STORED AS PARQUET TBLPROPERTIES('parquet.compression'='SNAPPY');
Hive表 Parquet压缩 ， Gzip，Snappy，uncompressed 效果对比
jast
03-11 1万+
创建两张表，通过一种是parquet ， 一种使用parquet snappy压缩 创建表 使用snappy CREATE EXTERNAL TABLE IF NOT EXISTS tableName(xxx string) partitioned by (pt_xvc string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' S...
hive parquet snapy
07-27
Hive中的Parquet文件格式可以使用Snappy压缩算法进行存储。在创建Parquet表时，可以使用TBLPROPERTIES参数指定压缩算法为Snappy。例如，可以使用以下语句创建Parquet表并指定Snappy压缩算法： ```sql CREATE TABLE ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值