[Hive基础]-- Hive table 的压缩方式和存储格式

已于 2023-03-09 15:12:27 修改
阅读量2.7k 收藏 8
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Apache Hive 架构设计 文章标签： 大数据 hive
于 2022-04-06 20:34:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/high2011/article/details/123893560
本文介绍了Hadoop的压缩方式，包括Snappy、GZIp、Lzo和BZip2的压缩速率和优缺点。接着讨论了Hive的三种存储格式：TEXTFILE、Parquet和ORC，以及它们在不同场景下的应用。在实践中，推荐使用Parquet或ORC作为Hive表的存储格式，并结合snappy或lzo压缩，以平衡性能和存储空间。避免使用不支持文件分割的压缩算法，防止数据倾斜问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
(10)Hive的相关概念——文件格式和数据压缩
爱吃辣条的博客
02-15 1830
Hive的相关概念——文件格式和数据压缩
Hive系列之-5、Hive的数据压缩和数据存储格式
不积跬步无以至千里，不积小流无以成江河
09-18 412
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 大数据系列文章目录 目录hive的数据压缩MR支持的压缩编码压缩配置参数开启Map输出阶段压缩开启Reduce输出阶段压缩hive的数据存储格式列式存储和行式存储主流文件存储格式对比实验存储和压缩结合 hive的数据压缩 在实际工作当中，hive当中处理的数据，一般都需要经过压缩，可以使用压缩来节省我们的MR处理的网络带宽 MR支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分
创建hive表，指定存储和压缩格式
徐磊的博客
04-12 9309
一、指定存储格式是ORC，压缩格式是orc默认的ZLIB压缩 建表语句 create table log_orc_none( track_time string, url string, session_id string, referer string, ip string, end_user_id string, city_id string ) row format delimited fi...
Hive如何在创建表时指定存储格式
weixin_42981609的博客
09-10 8592
1、TextFile Hive数据表的默认格式，存储方式：行存储。 可以使用Gzip压缩算法，但压缩后的文件不支持split 在反序列化过程中，必须逐个字符判断是不是分隔符和行结束符，因此反序列化开销会比SequenceFile高几十倍。 create table if not exists textfile_table( site string, url string, pv bigint...
Hive部分：hive创建表的格式
wyqwilliam的博客
08-12 1031
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) [(col_name data_type [COMMENT col_comment], ... [constraint_speci...
Hive ---- 文件格式和压缩
是微风，是晚霞，是无可替代
05-30 3936
为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，如下表所示：Hadoop查看支持压缩的方式hadoop checknative。Hadoop在driver端设置压缩。
hive-exec-2.1.1.jar
04-14
同时，Hive的性能可以通过优化元数据、分区策略、并行执行、压缩等方式进一步提升。 总的来说，理解Hive及其相关组件的工作原理，以及如何解决特定问题，对于大数据分析师和数据工程师来说至关重要。正确配置和使用...
hive优化-文件存储格式和压缩方法
阿尼古
06-29 3828
hive调优是比较大的专题，需要结合实际的业务，数据的类型，分布，质量状况等来实际的考虑如何进行系统性的优化，hive底层是mapreduce，所以hadoop调优也是hive调优的一个基础,hvie调优可以分为几个模块进行考虑，数据的压缩与存储，sql的优化，hive参数的优化，解决数据的倾斜等。 主要分为以下几块： 第一：数据的压缩与存储格式 对分析的数据选择合适的存储格...
hive 创建表时，orc格式并压缩
u011500419的专栏
03-27 3646
CREATE TABLE apachelog ( host STRING, identity STRING, user STRING, time STRING, request STRING, status STRING, size STRING, referer STRING, agent STRING) ROW FORMAT SERDE 'org.apach...
hive的压缩存储格式
hzp666的博客
11-04 4794
1、5种存储格式 Apache Hive支持Apache Hadoop中使用的几种熟悉的文件格式，如TextFile，RCFile，SequenceFile，AVRO，ORC和Parquet格式。 ClouderaImpala也支持这些文件格式。 在建表时使用STORED AS (TextFile|RCFile|SequenceFile|AVRO|ORC|Parquet)来指定存储格式。 TextFile每一行都是一条记录，每行都以换行符（\ n）结尾。数据不做压缩，磁盘开销大，数据解析开销大。可.
[Hive] Hive表压缩
henku449141932的博客
02-02 1821
目录 （1）压缩概述 （2）开启Map输出阶段压缩 （3）开启Reduce输出阶段压缩 （4）创建表时指定压缩格式 （1）压缩概述 MR支持的压缩编码，表1 为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器，表2 压缩性能的比较，表3 注：表1，表2，表3来自网络。 假如有一个表： create table emp_t( id int, name String, deptno int) row format delimited ...
hive的压缩
a13813972564的博客
07-09 253
压缩减少网络传输量 ==hive当中使用的压缩方式是：snappy hadoop2 默认本地库不支持snappy的压缩 需要重新编译hadoop让其支持本地库的压缩 开启map的输出阶段压缩可以减少job中map和reduce task间数据传输量，具体配置如下： 案例实操： 1）开启hive中间传输数据压缩功能 hive (default)>set hive.exec.compress.intermediate=true; 2）开启mapreduce中map输出压缩功能 hive (defaul
建表压缩hive配置
jtpython666的博客
03-17 2340
-- Create table set hive.exec.dynamic.partition.mode=nonstrict;--使用动态分区 set hive.exec.compress.output=true;--控制hive的查询结果输出是否进行压缩 set mapreduce.map.output.compress=true;----压缩输出 set mapred.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;
hive数据压缩
未来将会如何
04-06 420
hive表通常压缩为保存为orc文件，默认压缩方法为zlib（io.compression.codecs=org.apache.hadoop.io.compress.DefaultCodec），压缩比约为11% -- 创建orc压缩表 CREATE TABLE `zxdm_dim.d_acct_info_backup_orc`( `acct_id` string, `acct_name...
第3节 hive高级用法：14、hive的数据压缩
dengmanzhou3124的博客
06-21 217
六、hive的数据压缩 在实际工作当中，hive当中处理的数据，一般都需要经过压缩，前期我们在学习hadoop的时候，已经配置过hadoop的压缩，我们这里的hive也是一样的可以使用压缩来节省我们的MR处理的网络带宽 6.1、MR支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 DEFAU...
hive之文件格式与压缩
&volume的博客
07-23 1371
为Hive表中的数据选择一个合适的文件格式，对提高查询性能的提高是十分有益的。Hive表数据的存储格式，可以选择text file、orc、parquet、sequence file等。ORC（Optimized Row Columnar）file format是Hive 0.11版里引入的一种列式存储的文件格式。ORC文件能够提高Hive读写数据和处理数据的性能。我们文件一般都是一个二维表，行式存储就是以一行数据为一个单位，存储在相邻的位置，列示存储是以一列数据为单位，一个单位内的数据放在相邻的位置。
Hive表的数据压缩和企业级调优
a1007904449的博客
08-12 1060
压缩模式评价常见压缩格式http://google.github.io/snappy/On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or more.案例实操： 1.4 开启Reduce输出阶段压缩 当Hive将输出写入到表中时，输出内容同样可以进行压缩。属性hive.exec.
Hive数据库系列--Hive文件格式/Hive存储格式/Hive压缩格式
最新发布
weixin_49114503的博客
01-22 3120
Hive数据库系列--Hive文件格式/Hive存储格式/Hive压缩格式
hive 修改表的存储格式_Hive 表数据的存储和压缩格式
weixin_36367702的博客
12-23 909
* 按行存储* 按列存储file_format::| SEQUENCEFILE序列化(行存储)| TEXTFILE 文本格式(行存储)- (Default, depending on hive.default.fileformat configuration)| RCFILE 列式存储文件(列存储)- (Note: Available in Hive 0.6.0 and later)| O...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值