HBase表设计原则整理

最新推荐文章于 2024-07-27 21:58:44 发布
原创 最新推荐文章于 2024-07-27 21:58:44 发布 · 388 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #列簇 #表设计 #大数据

本文详细介绍了如何优化HBase性能的关键因素：列簇设计与Rowkey设计。列簇应保持数量少且数据量均衡，以减少不必要的IO操作；Rowkey应避免使用递增数字或时间，采用二进制方式存储以节省空间，并合理控制长度以提高扫描效率。此外，文章还提供了自定义分裂规则以更好地管理Region。遵循这些建议有助于提升HBase的整体性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

[b]1、列簇的设计[/b]
[list]
[*]列簇尽量少，最好不超过3个。因为每个列簇是存在一个独立的HFile里的，flush和compaction操作都是针对一个Region进行的，当一个列簇的数据很多需要flush的时候，其它列簇即使数据很少也需要flush，这样就产生的大量不必要的io操作。
[*]在多列簇的情况下，注意各列簇数据的数量级要一致。如果两个列簇的数量级相差太大，会使数量级少的列簇的数据扫描效率低下。
[*]将经常查询和不经常查询的数据放到不同的列簇。
[*]因为列簇和列的名字会存在HBase的每个Cell中，所以他们的名字应该尽可能的短。比如，用f:q代替mycolumnfamily:mycolumnqualifier
[/list]
[b]2、rowkey的设计[/b]
[list]
[*] 避免使用递增的数字或时间做为rowkey。
[*] 如果rowkey是整型，用二进制的方式比用string来存储更节约空间
[*] 合理的控制rowkey的长度，尽可能短,因为rowkey的数据也会存在每个Cell中。
[*] 如果需要将表预分裂为多个region是，最好自定义分裂的规则。
[/list]

参考文献：
[list]
[*]http://www-01.ibm.com/support/knowledgecenter/SSPT3X_2.1.2/com.ibm.swg.im.infosphere.biginsights.analyze.doc/doc/bigsql_designhints.html
[*]http://hbase.apache.org/book/number.of.cfs.html
[*]http://hbase.apache.org/book/columnfamily.html
[/list]
qicen
关注
【Hbase 05】Hbase表的设计原则与优化方案
Alex的博客
05-24 874
这里说一下Hbase在使用过程中的表设计原则与优化方案，如果你是运维或者开发兼顾环境的工作，比较受用
HBase之表的设计原则
super_ozman的专栏
08-28 6144
1、列族的数量及列族的势 建议将HBase列族的数量设置的越少越好。当强，对于两个或两个以上的列族HBase并不能处理的很好。这是由于HBase的Flushing和压缩是基于Region的。当一个列族所存储的数据达到Flushing的阈值时，该表中所有列族将同时进行Flushing操作。这将带来不必要的I/O开销，列族越多，该特性带来的影响越大。 此外，还要考虑到同一个表中不同列族所存储的记录
4.hbase 表设计原则
文洲的专栏
03-30 1278
反范式很重要 不用区分行和列 牢记有序和行键设计 - key均匀化 - 组合key(索引)设计 不同于传统关系数据库围绕数据先建模再考虑查询，HBase(Cassandra等NOSQL)强调围绕查询进行建模，干什么活做什么设计，海量数据就没必要多余的设计了。 具体总结包含如下三大原则： 反范式很重要 传统关系数据库中，期间遵循数据设计的三大范式，减小数据冗余，彼此间通过关系引用，hbase...
HBase学习之路 （十）HBase表的设计原则
weixin_34259559的博客
04-03 132
建表高级属性 　　下面几个 shell 命令在 hbase 操作中可以起到很大的作用，且主要体现在建表的过程中，看 下面几个 create 属性 1、 BLOOMFILTER 　　默认是 NONE 是否使用布隆过虑及使用何种方式，布隆过滤可以每列族单独启用 使用 HColumnDescriptor.setBloomFilterType(NONE | ROW | ROWCOL) 对列族单独启用...
Hbase_schema_表设计教程整理版.pdf
03-19
本教程介绍了HBase Schema的设计原则和一些具体案例分析。 ### HBase Schema设计要点 #### 1. HBase与RDBMS的区别 - **元数据具有版本描述**：HBase的元数据单元(cell)可以包含时间戳，这意味着可以对数据版本进行...
【面试宝典】68道Hbase高频题库整理(附答案背诵版)
tyler的博客
07-27 5480
Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它利用HBase技术在HDFS上提供了类似于Bigtable的能力。换句话说，Hbase是Apache Hadoop生态系统中的一部分，可以为大数据应用提供快速的随机读写访问。为了更好地理解，我们可以将Hbase想象成一个巨大的表格，这个表格可以存储数十亿行和数百万列的数据。但与传统的关系型数据库不同，Hbase更适合存储非结构化和半结构化的稀疏数据。
68道Hbase高频题整理(附答案背诵版)
IT6666_it的博客
06-13 2067
Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它利用HBase技术在HDFS上提供了类似于Bigtable的能力。换句话说，Hbase是Apache Hadoop生态系统中的一部分，可以为大数据应用提供快速的随机读写访问。为了更好地理解，我们可以将Hbase想象成一个巨大的表格，这个表格可以存储数十亿行和数百万列的数据。但与传统的关系型数据库不同，Hbase更适合存储非结构化和半结构化的稀疏数据。
相关业务问题+系统问题+设计问题整理统计
热门推荐
张彦峰的博客
04-07 171万+
业务系统及其他相关面试问题整理：线上相关问题排查+高并发系统的限流+高并发秒杀系统设计+负载均衡+一个网站有 20 亿 url 存在一个黑名单中，这个黑名单要怎么存？若此时随便输入一个 url，你如何快速判断该 url 是否在这个黑名单中？并且需在给定内存空间（比如：500M）内快速判断出？
Hbase总结整理
weixin_43644153的博客
03-12 836
1_hbase介绍 1_hbase介绍 什么是hbase？ 1、hbase是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统； 2、是一个典型的key/value系统； 3、仅能通过主键（row key）和主键的range来检索数据，不支持join等复杂操作，计算和存储能力主要依靠横向扩展。 hbase集群结构 ...
hbase 表设计
01-22
hbase 数据模型，表结构设计 。。。。。。。。。。。。。。。。。。。。。。。
【Hbase】（十一）详解 HBase 表的设计原则
云祁QI
02-22 2091
文章目录一、建表高级属性1、 BLOOMFILTER2、 VERSIONS3、 COMPRESSION4、 TTL5、 alter6、 describe/desc7、 disable_all/enable_all8、 drop_all9、 hbase 预分区二、表设计1、列簇设计2、RowKey 设计三、Rowkey 设计三原则1、 rowkey 长度原则2、rowkey 散列原则3、rowkey...
一文详解HBase表设计原则和实现
microGP的专栏
04-09 2177
前言 HBase作为一款历史悠久且具有代表性的NOSQL的数据库，其优点与缺点同样的明显，所以在确认了使用场景适合后下一步就是如何用好HBase了，不夸张的说，HBase使用的好与坏可能会造成天差地别，所以当你抱怨HBase如何的差劲不如XXX的时候，一定要先确认下自己是不是真的很好的使用了HBase，让其充分发挥出自己的亮点 正文 想要用好HBase，首先要确认自己的业务场景是不是适合使用HBase，这个我在另外一篇博文中已经有所描述HBase的使用场景，大家可以参考...
HBase表设计
开心一刻的专栏
11-11 186
1. 表的设计 1.1 Pre-Creating Regions 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据， 直到这 个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按 照 region分区情况，在集群内...
HBASE表设计
开心一刻的专栏
11-09 2709
1. 表的设计 1.1 Pre-Creating Regions 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这 个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照 region分区情况，在集群内做数据的负载均衡
关于HBase表的设计原则小结
LBJ_小松鼠的博客
01-07 474
前言: 这里是关于如何设计HBase表的一个小结 关于HBase表的设计,应该从以下几点出发: 设计名称空间(namespace)丶设计表(相当于region)丶设计列簇丶设计列丶版本设计丶压缩设计以及如何设计rowkey. 1.名称空间的设计 在HBase中名称空间类似于RDBMS中的数据库,在HBase中往往不同的的业务的数据需要存储在不同的的表中,为了管理的方便,不同业务域按照不同的namespace来划, HBase在安装好后有两个名称空间,一个defalut,创建表时默认都在此namespa
HBase在建表时的设计原则
weixin_50035474的博客
04-12 406
预分区 默认建表 HBase默认建表有一个region,这个region的rowkey是没有边界的，即没有startkey和endkey。 在数据写入时，所有的数据都会写入这个默认的region,随着数据量的不断增加，会进行split,分成两个region。 产生的问题 数据往一个region上写，会有写热点问题。 region split会消耗宝贵的IO资源。 解决问题 在建表时，创建多个空的region,并确定每个regionde startkey和endkey,这样只要rowkey设计能均匀的命中各
Hbase的表设计
dmr91325的博客
09-14 275
一、应用背景 微博：用户表users、微博表weibos、用户关系表relations，和具体哪个公司的微博没关系。 微博中的用户想关注其他用户的微博，首先要维护一个特定用户的关注列表，例如张三关注了李四和王五。 为了要的得到张三应该看到的所有微博，你需要查找列表{李四、王五}，然后读出列表中每个用户的所有微博，这个信息需要保存在hbase中。 二、表模式（Schema）设计应该...
Hbase 学习（五）-HBase表的设计原则
potter
04-05 329
目录1、Hbase 高级应用1.1、建表高级属性1.2、表设计1、Hbase 高级应用1.1、建表高级属性下面几个 shell 命令在 hbase 操作中可以起到很到的作用，且主要体现在建表的过程中，看下面几个 create 属性1、 BLOOMFILTER默认是 NONE 是否使用布隆过虑及使用何种方式，布隆过滤可以每列族单独启用使用 HColumnDescriptor.setBloomFilt...
在HBase中创建表步骤
最新发布
03-28
<think>好的，用户想了解如何在HBase中创建表，需要详细步骤和语法示例。首先，我应该先回顾一下HBase的基本知识，确保自己记得正确。HBase是一个分布式的、面向列的数据库，基于Hadoop，适合处理海量数据。创建表的时候，需要指定表名和列族，列族的配置会影响数据的存储和访问效率。 接下来，我需要参考用户提供的引用内容。根据引用[1]、[2]、[3]，HBase创建表有两种主要方法：通过HBase Shell使用命令行，或者通过Java API编程实现。用户可能想知道这两种方法的具体步骤，所以需要分别整理。 首先，HBase Shell的方法。引用[1]和[3]提到，在Shell中创建表的语法是create '表名','列族名'。可能需要详细说明每个参数，例如表名和列族的命名规则，以及可选的配置参数。比如，VERSIONS参数可以指定保留的版本数，或者设置数据块的缓存大小。还要注意，HBase Shell是交互式命令行工具，适合手动操作或脚本执行。 然后是Java API的方法。引用[2]和[3]指出，需要使用HBaseAdmin类，但现在可能已经被新的API替代了？比如HBase 2.x之后，Admin接口可能更常用。需要确认最新的方法，避免给出过时的代码示例。例如，HBaseAdmin类已经被弃用，应该使用Connection接口和Admin类。所以步骤应该是：1. 创建配置对象；2. 获取Connection；3. 获取Admin对象；4. 创建表描述符，添加列族描述符；5. 执行创建操作。同时需要处理异常，比如表已存在的情况。 另外，用户可能需要知道创建表前的准备工作，比如检查表是否存在，或者删除已存在的表。引用[4]和[5]提到删除表的方法，可能需要先禁用表再删除。所以在创建表之前，最好先检查是否存在，避免冲突。 还需要注意语法细节，例如在Shell中表名和列族名的大小写处理，是否需要用引号括起来。Java代码中需要导入哪些包，如何处理配置，以及如何正确设置列族参数，比如BlockCache、BloomFilter等。 用户可能遇到的常见问题包括表名不符合规范、列族配置不当导致性能问题，或者权限不足无法创建表。在步骤中应该提醒这些注意事项，比如列族不宜过多，通常建议不超过3个，每个列族的配置需要根据访问模式优化。 最后，提供示例代码时，要确保语法正确，比如在Java中使用TableDescriptorBuilder和ColumnFamilyDescriptorBuilder来构建表描述符。同时，关闭Admin和Connection资源，避免资源泄漏。 总结起来，回答的结构应该分为HBase Shell和Java API两部分，每部分详细步骤和示例，加上注意事项和常见问题。需要确保引用对应的参考资料，并在适当的地方添加引用标识。可能还需要说明版本差异，比如新旧API的不同，避免用户混淆。</think>### HBase 创建表的详细步骤及语法示例 在HBase中创建表需要指定**表名**和**列族名**，支持通过**HBase Shell命令行**或**Java API**两种方式实现。以下是具体步骤及示例： --- #### 一、通过HBase Shell创建表 1. **启动HBase Shell** 在终端输入命令进入交互式命令行环境： ```bash hbase shell ``` 2. **创建表语法** ```bash create '<表名>', {NAME => '<列族名>', <可选参数>}, {NAME => '<列族名>', <可选参数>}, ... ``` - **必选参数**：`表名`和至少一个`列族名`。 - **可选参数**：如`VERSIONS`（版本数）、`BLOCKCACHE`（是否启用缓存）等。 3. **示例** 创建一个表`student`，包含两个列族`info`和`score`，其中`info`列族保留3个版本： ```bash create 'student', {NAME => 'info', VERSIONS => 3}, {NAME => 'score', BLOCKCACHE => 'true'} ``` 执行后输出：`Created table student`[^1][^3]。 --- #### 二、通过Java API创建表 1. **依赖配置** 在项目中引入HBase客户端依赖（如Maven）： ```xml <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>2.4.12</version> </dependency> ``` 2. **代码实现步骤** ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.client.Admin; import org.apache.hadoop.hbase.client.Connection; import org.apache.hadoop.hbase.client.ConnectionFactory; import org.apache.hadoop.hbase.client.ColumnFamilyDescriptorBuilder; import org.apache.hadoop.hbase.client.TableDescriptorBuilder; public class CreateTable { public static void main(String[] args) throws Exception { // 1. 创建配置对象 Configuration conf = HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum", "localhost"); // 设置ZooKeeper地址 // 2. 获取Connection和Admin对象 try (Connection connection = ConnectionFactory.createConnection(conf); Admin admin = connection.getAdmin()) { // 3. 定义表名和列族 TableName tableName = TableName.valueOf("student"); ColumnFamilyDescriptorBuilder infoFamily = ColumnFamilyDescriptorBuilder.newBuilder("info".getBytes()); infoFamily.setMaxVersions(3); // 设置列族参数 ColumnFamilyDescriptorBuilder scoreFamily = ColumnFamilyDescriptorBuilder.newBuilder("score".getBytes()); scoreFamily.setBlockCacheEnabled(true); // 4. 构建表描述符并创建表 TableDescriptorBuilder tableDescBuilder = TableDescriptorBuilder.newBuilder(tableName) .setColumnFamily(infoFamily.build()) .setColumnFamily(scoreFamily.build()); if (!admin.tableExists(tableName)) { admin.createTable(tableDescBuilder.build()); System.out.println("表创建成功"); } else { System.out.println("表已存在"); } } } } ``` - **关键点**：需检查表是否已存在（`admin.tableExists()`），避免重复创建[^2][^3]。 --- #### 三、注意事项 1. **列族设计原则** - 列族数量不宜过多（通常不超过3个），每个列族独立存储。 - 列族名称需简短且符合命名规范（仅字母、数字、下划线）。 2. **预分区优化** 创建表时可通过`SPLITS`参数预分区，提升写入性能： ```bash create 'student', 'info', {SPLITS => ['a', 'g', 'm', 'z']} ``` 3. **删除旧表** 若表已存在，需先禁用再删除： ```java admin.disableTable(tableName); admin.deleteTable(tableName); ``` Shell命令： ```bash disable 'student' drop 'student' ``` [^4][^5] ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值