hbase设置表的列族压缩方式

最新推荐文章于 2024-01-21 03:43:14 发布
转载 最新推荐文章于 2024-01-21 03:43:14 发布 · 429 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/sajia/p/6962635.html
文章标签：

#大数据 #shell

本文介绍了一种数据库表的压缩方法，包括下架表、设置压缩、上架表及执行压缩等步骤，帮助提高数据库的存储效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1：下架表

disable `card_base`;

2：设置压缩

alter 'card_base', NAME => 'base', COMPRESSION => 'GZ'

 

3：上架表

enable 'card_base'

 

4：进行压缩

major_compact 'card_base'

转载于:https://www.cnblogs.com/sajia/p/6962635.html

大数据领域HBase的数据压缩技术应用
AI天才研究院
05-28 436
在大数据时代，数据量呈现爆炸式增长，HBase作为一种分布式、面向列的开源数据库，被广泛应用于存储海量数据。然而，大量的数据存储会占用大量的磁盘空间，增加存储成本，同时也会影响数据的读写性能。数据压缩技术可以有效地减少数据的存储空间，提高数据的传输效率，因此在HBase中应用数据压缩技术具有重要的现实意义。本文的目的是全面介绍HBase的数据压缩技术应用，包括压缩算法原理、实际应用案例、性能分析等，范围涵盖了常见的压缩算法以及在不同场景下的应用。
HBase中的列族概念
AI天才研究院
10-12 1877
作者：禅与计算机程序设计艺术 1.背景介绍 Apache HBase是一个开源的分布式 NoSQL 数据库，它是 Hadoop 的子项目。HBase 是 Apache Hadoop 中用于存储非结构化数据（即 NoSQL）的一种行列式存储数据库。其核心功能包括：海量数据的存储、高性能查询、实时写入和
hbase 学习笔记二----shell
热门推荐
zhouleilei的专栏
10-12 2万+
Hbase 是一个分布式的、面向列的开源数据库，其实现是建立在google 的bigTable 理论之上，并基于hadoop HDFS文件系统。     Hbase不同于一般的关系型数据库(RDBMS)。是一种适用于非结构化数据存储的数据库，且Hbase是基于列的数据库。      下面的内容基于我们已经安装好hadoop、hbase。     一、hbase shell 介绍      h
HBase列族优化
u013059060的博客
04-16 416
着大数据的越来越普及，HBase也变得越来越流行。使用HBase并不困难，但是如何用好HBase，这确是一个难点。为了合理地使用HBase，尽可能发挥HBase的功能，我们需要根据不同的场景对HBase进行不同地优化以最大程度上提升系统的性能。本文重点介绍列族设计有关的优化。我们先来了解下HBase列族具有哪些属性配置。 列族属性配置 版本数量（VERSIONS） 每个列族可以单独设置行版本数，默认是3。这个设置很重要，因为HBase是不会去覆盖一个值的，它只会在后面追加写，用时间戳（版本号）来区分，过早的
Hbase压缩的实现
zlhblogs的博客
05-16 352
（2） 读写性能：因为数据写入是先将kv数据值写到缓存，最后再统一flush的硬盘，而压缩是在flush这个阶段执行的，因此会影响flush的操作，对写性能本身并不会有太大影响；（1） 资源使用情况：压缩最直接、最重要的作用即是减少数据硬盘容量，理论上snappy压缩率可以达到5:1，但是根据测试数据不同，压缩率可能并没有理论上理想；根据读路径来看，数据读取到缓存之前block块会先被解压，缓存到内存中的block是解压后的，因此和不压缩情况相比，内存前后基本没有任何影响。
数据压缩：HBase数据压缩的技术和方法
AI天才研究院
01-21 1280
1.背景介绍 数据压缩是在存储和传输数据时减少数据量的过程。在大数据时代，数据压缩成为了一种必要的技术手段，可以有效地节省存储空间和带宽资源。HBase是一个分布式、可扩展的列式存储系统，广泛应用于大规模数据存储和处理。在HBase中，数据压缩可以有效地减少磁盘空间占用，提高I/O性能，降低存储成本。本文将深入探讨HBase数据压缩的技术和方法，为读者提供实用的知识和经验。 1.背景介绍 H...
【HBase】HBase 列族属性配置
w1992wishes的博客
07-16 5216
文章目录一、创建表及属性查看二、列族属性配置2.1、版本数量（VERSIONS）2.2、存活时间（TTL）2.3、最小版本数（MIN_VERSIONS ）2.4、保留删除的单元格（KEEP_DELETED_CELLS）2.5、数据块大小（BLOCKSIZE ）2.6、块缓存（BLOCKCACHE）2.7、激进缓存（IN_MEMORY）2.8、压缩（COMPRESSION）2.9、布隆过滤器（BLO...
hbase 删除列族下的某一列_HBase快速入门
weixin_39942191的博客
11-21 916
HBase简介HBase是一个分布式的、面向列的开源数据库存储系统，是对Google论文BigTable的实现，具有高可靠性、高性能和可伸缩性，它可以处理分布在数千台通用服务器上的PB级的海量数据。BigTable的底层是通过GFS（Google文件系统）来存储数据，而HBase对应的则是通过HDFS（Hadoop分布式文件系统）来存储数据的。HBase不同于一般的关系型数据库，它是一个适合于非结...
hbase什么是列族的键
最新发布
06-06
在 HBase 中，列族键（Column Family Key）是表结构中的一个重要组成部分。它是一个逻辑分组的概念，用于将相关的列组织在一起[^1]。具体来说，列族键是由用户在创建表时预先定义的，并且所有的列都必须属于某个列族...
hbase列簇设计原则，看这篇就对了
longzorg_cn的博客
11-26 2048
In Memory: 优先级最高，常驻cache，在创建列族时定义，不会像其他两种cache会因访问频率而发生改变，这就决定了它的独立性，另外两种block访问次数再多也不会被放到in-memory的区段里去，in-memory的block不管是第几次访问，总是被放置到in-memory的区段中，但是In Memory除了保证优先级外，不会提供其他的保证。第二行的key长度和类型与前一行相同，则不需要存储，第二行的时间戳值为0，而不是完整的时间戳，即时间戳与第一行时间戳相同。
HBase数据压缩 Column family Compress & Data Block Encoding
microGP的专栏
07-22 1495
说到HBase数据压缩，在HBase中有两种方式可以达到该目的，一个就是column family的compress，HBase支持none/snappy/lzo/lz4/gz等几种压缩方式来压缩数据，最后降低数据总量的大小；另一个是data block 的encoding，通过对data block中的KeyValue中key的相同部分进行处理来减少存储的占用，目前支持prefix/diff/fast diff/prefix tree等几种方式来实现data block 的encoding，另外，...
HBase增加/修改/删除表的压缩方式
microGP的专栏
09-20 2509
环境信息： HBase 1.2.2 需求： 一个已经存在的表，修改其压缩方式，并对之前的旧数据生效 实现： 1、进入shell界面--hbase shell 2、停用表--disable 'geomesa_hbase（表名）' 3、修改压缩方式：由于压缩方式是按照列族指定的，所以修改压缩方式的时候，需要指定列族--alter 'geomesa_hbase（表名）', NAME =&g...
HBase修改压缩格式及Snappy压缩实测分享
depe16540458的博客
07-17 693
一、要点 有关Snappy的相关介绍可参看Hadoop压缩-SNAPPY算法，如果想安装Snappy，可以参看Hadoop HBase 配置 安装 Snappy 终极教程。 1. HBase修改Table压缩格式步骤 2. 实测结果分享 二、HBase修改Table压缩格式步骤 修改HBase压缩算法很简单，只需要如下几步： 1. hbase shell命令下，disable...
Hbase建表压缩（snappy）和phoenix映射关系建立
weixin_43390992的博客
05-31 2375
修改表压缩格式步骤： 1.disable 相关表 disable ‘hbase_dev_pi_b_2015’ 未压缩前 占空间大小 3.2T 2.修改表的压缩格式 需要一个列族一个列族修改 (如果有多个列族的话) 写错，则新添加了列族，可以将其删除 alter ‘hbase_dev_pi_b_2015’,{NAME=>‘f’,METHOD=>‘delete’} <“pi”....
关于hbase表的设计原理，列簇，数据压缩，版本的设计
weixin_44912627的博客
12-13 2084
1.列簇一般设置是1-2 个，实际工作中我们设置的是一个列簇，如果列簇太多，那么一个列簇对应的是一个store，也是对应一个memstore，那么当达到一定的阈值（默认是128M），就会进行一次flush，多个列簇就会进行多次的flush，会导致不必要的I/O消耗，所以一般设置成1-2个就可以，并且能使用一个就不要使用两个。 2.版本的设计：我们的项目不需要保存历史数据，那么就使用默认的版本：VERSIONS=1,；如果我们的项目需要保存历史的变更信息，那么我们就可以使用VERSIONS>1的版本，但
HBase最佳实践－列族设计优化
张伟的专栏
07-04 1万+
问题导读： 1.BLOCKSIZE属性在不同场景下应该如何设置？ 2.COMPRESSION属性和DATA_BLOCK_ENCODING属性的区别是什么？ 3.Hbase需要注意哪些设计原则？ 随着大数据的越来越普及，HBase也变得越来越流行。会用HBase现在已经变的并不困难，然而，怎么把它用的更好却并不简单。那怎么定义‘用的好’呢？很简单，在保证系统稳定性、可用性的基
HBase开启Snappy压缩
liuxiangke0210的专栏
03-06 1万+
原文链接：http://www.kissyu.org/2016/10/06/HBase%E5%BC%80%E5%90%AFSnappy%E5%8E%8B%E7%BC%A9/ 背景 HBase是目前主流的Nosql数据库之一，由于其优秀的水平扩展能力，业界常将其用来存储海量级的数据。在我们使用HBase的时候，为了节省服务器的存储成本，建议开启HBase的数据压缩特性。主流的HBase压
hbase的四种压缩格式
weixin_34088583的博客
09-08 871
Hbase支持的压缩格式：hbase支持的压缩格式：GZ（GZIP）,LZ0，LZ4，SnappyGZ:用于冷数据压缩，与Snappy和LZ0相比，GZIP的压缩率更高，但是更消耗CPU，解压/压缩速度更慢。Snappy和LZ0：用于热数据压缩，占用CPU少，解压/压缩速度比GZ快，但是压缩率不如GZ高。Snappy与LZ0相比，Snappy整体性能优于LZ0，Snappy压...
hbase查看表的列族
05-27
要查看 HBase 表的列族，可以使用以下命令： ``` hbase shell list 'table_name' ``` 这将列出表的所有列族和列信息。如果您只想查看表的列族，可以使用以下命令： ``` describe 'table_name' ``` 这将列出表的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值