HBase选择压缩算法Block Encoding Type

最新推荐文章于 2025-08-29 09:41:28 发布

原创最新推荐文章于 2025-08-29 09:41:28 发布 · 556 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#HBase

HBase 专栏收录该内容

1 篇文章

订阅专栏

本文探讨了如何根据数据特性选择合适的压缩算法。对于长Key或大量Column的数据，推荐使用FAST_DIFF；冷数据适合GZIP，因其高压缩比率节省磁盘；热点数据则推荐Snappy/LZO，减少CPU占用。在多数情况下，Snappy优于LZO。

如何选择压缩算法以及Block Encoding Type?

如果Key很长，或者有很多Column，那么推荐使用FAST_DIFF
如果数据是冷数据，不经常被访问，那么使用GZIP压缩格式．因为虽然它比Snappy/LZO需要占用更多而CPU，但是它的压缩比率更高，更节省磁盘．
如果是热点数据，那么使用Snappy/LZO压缩格式．它们相比GZIP，占用的CPU更少．
在大多数情况下，Snappy/LZO的选择都更好.
Snappy比LZO更好．

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

codeforces

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

实时即未来，大数据项目车联网之原始数据实时ETL任务HBase调优【九】

Maynor的博客

01-03

682

hbase的每一次put操作写入数据，实际上是一个RPC操作，将客户端的数据传输到hbase服务器再返回结果，适合小数据量写入，当需要写入大量数据时，每一次put连接一次RPC连接，会增加连接次数，因此会增加传输时间和IO消耗。l HBase基于列簇存储数据，列簇是表的schema信息的一部分，列是基于列簇为前缀加上属性存储，因此对hbase表进行编码压缩，可以认为是对列数据的压缩。如果是，则不会再次存储数据。上一节写入数据，一条条数据put到表中，对于大量数据的写入，效率极低，因此针对此项进行优化。

HBASE详解

qq_45114067的博客

11-19

1847

原 Hbase 2019-10-22 20:16:13 erchouchou 阅读数 680 文章目录 Hbase 来源：应用：行业： Hbase定义： Hbase特性： Hbase shell namespace DDL DML Hbase Java Api 依赖 HbaseUtils HbaseDemo Hbase过滤器 Hbase原理架构 Hbase读写流程写数据流程 Hbase的存...

参与评论您还未登录，请先登录后发表或查看评论

JavaScript---网络编程(1)-介绍、变量、运算符与语句

weixin_40674835的博客

11-29

495

点击有惊喜前言你可曾遇到这种需求，只有几百qps的冷数据缓存，却因为存储水位要浪费几十台服务器？你可曾遇到这种需求，几百G的表，必须纯cache命中，性能才能满足业务需求？你可曾遇到，几十M的小表，由于qps过高，必须不停的split，balance，利用多台服务器来抗热点？面对繁杂的场景，Ali-HBase团队一直致力于为业务提供更多的选择和更低的成本。本文主

数据压缩：HBase数据压缩的技术和方法

AI天才研究院

01-21

1369

1.背景介绍数据压缩是在存储和传输数据时减少数据量的过程。在大数据时代，数据压缩成为了一种必要的技术手段，可以有效地节省存储空间和带宽资源。HBase是一个分布式、可扩展的列式存储系统，广泛应用于大规模数据存储和处理。在HBase中，数据压缩可以有效地减少磁盘空间占用，提高I/O性能，降低存储成本。本文将深入探讨HBase数据压缩的技术和方法，为读者提供实用的知识和经验。 1.背景介绍 H...

Apache HBase 数据压缩技术：Snappy、LZ4、GZIP算法对比与应用

最新发布

gitblog_00817的博客

08-29

847

在大数据存储领域，数据压缩技术是优化存储空间、提升I/O性能的关键技术。Apache HBase作为分布式列存储数据库，提供了多种压缩算法支持。本文将深入探讨HBase支持的Snappy、LZ4、GZIP三种主流压缩算法，从原理、性能对比到实际应用进行全面分析。 ## 一、HBase压缩技术概述 ### 1.1 压缩在HBase中的作用数据压缩在HBase中扮演着至关重要的角色： - *...

【Hbase】（五）HBase 原理

云祁QI

12-21

1452

文章目录一、系统架构1、Client2、ZooKeeper3、Master4、RegionServer5、HRegion6、Store （文件存储区）7、MemStore8、StoreFile9、HFile10、HLog二、物理存储1、整体的物理结构2、StoreFile 和 HFile 结构3、MemStore 和 StoreFile三、Hbase WAL HLog预写四、Region 寻址机制...

HBase 压缩算法设置及修改

豹先生

10-18

2109

Compression就是在用CPU换IO吞吐量/磁盘空间，如果没有什么特殊原因推荐针对Column Family设置compression，下面主要有三种算法: GZIP, LZO, Snappy，作者推荐使用Snappy，因为它有较好的Encoding/Decoding速度和

HBase数据压缩 Column family Compress & Data Block Encoding

microGP的专栏

07-22

1528

说到HBase数据压缩，在HBase中有两种方式可以达到该目的，一个就是column family的compress，HBase支持none/snappy/lzo/lz4/gz等几种压缩方式来压缩数据，最后降低数据总量的大小；另一个是data block 的encoding，通过对data block中的KeyValue中key的相同部分进行处理来减少存储的占用，目前支持prefix/diff/fast diff/prefix tree等几种方式来实现data block 的encoding，另外，...

2021SC@SDUSC HBase(十)项目代码分析——HBase的压缩编码

weixin_45865669的博客

11-19

1616

2021SC@SDUSC 目录一、简述二、key的编码一、简述在存储层面节省空间的处理上，HBase提供了两种方案： 1、基于key的编码。用于将key重复部分进行简单处理达到节约空间的目的。 2、基于数据库（data block）的压缩。对数据块进行压缩，实现节省硬盘。二、key的编码主要是针对于key很长而且有大量部分重复的场景，如果key大部分长得不一样，那么编码几乎没有优势： prefix ...

Hbase实战处理（一）关于hbase的表设计和集成

sheep8521的博客

06-03

1668

hbase集群的HA配置（假如有3台机器（同时是regionserver角色），master、slaver1、slaver2）stop-hbase.sh cd /home/hadoop-twq/bigdata/hbase-1.2.6/conf vi backup-masters 在master机器上文件增加如下的记录：slave1 ---backup master的节点ip---把backup的信息同步给其余的slave。jps验证访问: http://slave1:16010。

hbase列簇设计原则，看这篇就对了

longzorg_cn的博客

11-26

2104

In Memory: 优先级最高，常驻cache，在创建列族时定义，不会像其他两种cache会因访问频率而发生改变，这就决定了它的独立性，另外两种block访问次数再多也不会被放到in-memory的区段里去，in-memory的block不管是第几次访问，总是被放置到in-memory的区段中，但是In Memory除了保证优先级外，不会提供其他的保证。第二行的key长度和类型与前一行相同，则不需要存储，第二行的时间戳值为0，而不是完整的时间戳，即时间戳与第一行时间戳相同。

HBase权威指南中文版（压缩成5个文件了）分卷3

05-18

HBase权威指南中文版（压缩成5个文件了）分卷3 总共5个分卷

hbase复习和压缩算法

u014156013的博客

07-31

782

问题：存储在HDFS上的一个大文件有100T，怎么在实时的要求下，快速找出对应的record 实时的增删改查 hbase 根据key 查找value 底层二进制编码序列化和反序列化主键列簇1 列簇2 。。。设计核心：跳表 + 布隆过滤器 HBase : 数据库，底层数据存储在HDFS Hive只要支持 select 查询延...

HBase中的数据压缩与存储策略

AI天才研究院

01-25

728

1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase的主要应用场景是实时数据存储和查询，如日志记录、实时统计、网站访问日志等。在大数据时代，数据量不断增长，存储空间成本也不断上升。因此，数据压缩成为了一种必要的...

HBase-0.96中新BlockEncoding算法-PREFIX_TREE压缩的初步探究及测试

我不是春晖

04-08

649

PREFIX_TREE（HBASE-4676）是HBase 0.96版本中新增加的一种DataBlock Encode算法。 1.什么是PREFIX_TREE 关于前缀树的介绍可以参考维基百科http://zh.wikipedia.org/wiki/Trie 当然其的实现会有差别 2.HBase中的DataBlock DataBlock是KeyValue的集合，是Hfi...

HBASE未来可期的数据压缩算法之ZSTD

文武傲群雄，彳亍定江山

04-08

1812

tl;dr（太长不读）： zstd是Facebook在2016年开源的新无损压缩算法，优点是压缩率和压缩/解压缩性能都很突出。在我们测试的文本日志压缩场景中，压缩率比gzip提高一倍，压缩性能与lz4、snappy相当甚至更好，是gzip的10倍以上。 zstd还有一个特别的功能，支持以训练方式生成字典文件，相比传统压缩方式能大大的提高小数据包...

HBase启用压缩

yang灬仔

11-01

2056

HBase启用压缩 HBase 创建表时默认压缩为 NONE ，即没有压缩，除非指定。目前 HBase 主要支持 4 种压缩方式：GZ（GZIP），SNAPPY，LZO，LZ4。 1. 压缩算法的比较算法压缩比压缩解压 GZIP 13.4% 21MB/s 118MB/s LZO 20.5% 135MB/s 410...

HBase的数据压缩是如何实现的？

jakelihua

09-07

457

在写入数据时，HBase会将数据进行压缩，然后存储到磁盘上。在读取数据时，HBase会将存储在磁盘上的压缩数据解压缩，然后返回给应用程序。通过以上代码，我们可以了解到HBase的数据压缩是通过在写入和读取数据时使用压缩算法来实现的。接着，我们创建了一个Get对象，并指定要获取的行键和列。然后，通过table.get方法执行了获取操作，获取到了指定行键和列的数据。接下来，我们创建了一个Put对象，并指定要插入的行键和数据。然后，我们通过table.put方法执行了插入操作，将数据插入到表中。

TypeEncoding

gaoyuqiang30的博客

12-03

408

- (void)printStr:(NSString *)s fff:(BOOL)fff2{ NSLog(@"sss"); }结果： "v28@0:8@16B24" 所以"v@:"前缀不变，后面每加一个参数就要加一个符号，B是Bool,i是int ,NSObject是@