关于HBase中Rowkey的设计原则

最新推荐文章于 2024-06-05 15:42:43 发布
最新推荐文章于 2024-06-05 15:42:43 发布
阅读量235 收藏
点赞数
分类专栏： 大数据 hbase2.0.5 文章标签： 大数据 hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43883124/article/details/114413669
版权

关于HBase中Rowkey的设计原则

hbase的数据是key-value结构！因此一条数据的唯一标识就是rowkey!

region也是根据rowkey进行排序，根据rowkey进行切分！

rowkey设计的好，可以提供系统负载均衡的能力！

如何让regionserver负载均衡： 让数据可以基于rowkey排序后，均匀地分散到所有的region!防止数据倾斜！

如何实现：
①可以采取随机数，hash或散列运算，让rowkey足够散列
②字符串反转
③字符串拼接

** Rowkey设计原则**

HBASE的rowkey设计原则
科学的N次方
06-16 1238
1.避免使用递增行键/时序数据 如果ROWKEY设计的都是按照顺序递增（例如：时间戳），这样会有很多的数据写入时，负载都在一台机器上。我们尽量应当将写入大压力均衡到各个RegionServer 2.避免ROWKEY和列的长度过长  在HBase中，要访问一个Cell（单元格），需要有ROWKEY、列蔟、列名，如果ROWKEY、列名太大，就会占用较大内存空间。所以ROWKEY和列的长度应该尽量短小  ROWKEY的最大长度是64KB，建议越短越好 3.使用Long等类型比String更省空间 long类型
HBase RowKey设计原理与代码实例讲解
最新发布
AI天才研究院
07-20 925
HBase RowKey设计原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 HBase 是一个构建在分布式文件系统（如 HDFS）上的高性能、可扩展、面向列的数据库。它被设计用于处理大规模的数据集，并支持实时读取和写入。H
HBase的RowKey设计
weixin_30699443的博客
06-17 790
HBase是三维有序存储的，通过rowkey（行键），column key（column family和qualifier）和TimeStamp（时间戳）这个三个维度可以对HBase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录，在HBase查询的时候，有两种方式： 通过get方式，指定rowkey获取唯一一条记录 通过scan方式，设置startRow和...
HBase RowKey的设计原则
热门推荐
lavimer
04-08 2万+
HBase是三维有序存储的，三维指的是：RowKey(行健)、column key(columnFamily和qualifier)、TimeStamp(时间戳)，通过这三个维度我们可以对HBase中的数据进行快速定位。下面我们主要来讨论RowKey的设计原则： HBase中RowKey可以唯一标识一条记录，在HBase查询的时候，我们有两种方式，第一种是通过get()方法指定RowKey条件后获
078 Hbase中rowkey设计原则
weixin_34144848的博客
12-13 110
1.热点问题 　　在某一时间段，有大量的数据同时对一个region进行操作   2.原因 　　对rowkey的设计不合理 　　对rowkey的划分不合理   3.解决方式 　　rowkey是hbase的读写唯一标识 　　最大长度是64KB。   4.核心原则 　　设计必须按照业务需求进行设计   5.长度原则 　　经验：10~100字节可以 　　官方：16字节，因为操作系统时8字节进行存储   6...
Hbase中Rowkey的设计方法
qq_39889944的博客
06-05 988
对Hbase中Rowkey的设计方法进行汇总
HBase的RowKey设计原则含案例(全)
BOOLTechnology的博客
03-01 3051
HBase的rowkey设计原理和案例分享
数据存储之HBase的RowKey设计
请不要卷我的博客
06-03 788
HBase的RowKey设计需要根据具体的数据进行设计，一般来说需要依据的设计原则有三个： 长度原则：避免没有必要的资源消耗 散列原则：避免热点问题，也是RowKey设计主要考虑的地方 唯一原则：保证RowKey不重复 RowKey长度原则 RowKey的长度一般设计为定长，越短越好。如果RowKey设计得过长容易引发以下问题： 第一、RowKey太长容易过多占用memorystore和磁盘空间，导致我们需要存储的数据使用的资源减少 第二、RowKey过长Client缓存元数据的条数会变少，导
HBASE中rowkey的设计原则
wyqwilliam的博客
11-25 358
Rowkey 设计三原则  1、 rowkey 长度原则 　　Rowkey 是一个二进制码流，Rowkey 的长度被很多开发者建议说设计在 10~100 个字节，不 过建议是越短越好，不要超过 16 个字节。 　　原因如下： 　　　　1、数据的持久化文件 HFile 中是按照 KeyValue 存储的，如果 Rowkey 过长比如 100 个字 节，1000 万列数据光 Rowkey ...
HBase RowKey设计原则
程序员成长之路
04-02 2718
本文引自淘宝技术部文章：http://rdc.taobao.org/?p=457 建议使用String如果不是特殊要求，RowKey最好都是String。 方便线上使用Shell查数据、排查错误 更容易让数据均匀分布 不必考虑存储成本 RowKey的长度尽量短如果RowKey太长话，第一是，存储开销会增加，影响存储效率；第二是，内存中Rowkey字段过长，内存的利用率
HBase概念学习（八）开发一个类twitter系统之表设计
jiq•钦's technical Blog
06-29 3198
这边文章先将可能的需求分析一下，设计出HBase表，下一步再开始编写客户端代码。 TwiBase系统 1、背景 为了加深HBase基本概念的学习，参考HBase实战这本书实际动手做了这个例子。 2、需求 这是一个用户推特系统，用户登陆到系统，需要维护用户的基本信息，然后用户可以发帖和其他用户进行互动。用户之间可以相互关注，用户可以浏览关注用户的推文等等。 这是一个比
Hbase RowKey设计原则
shengjk1的博客
10-12 785
经常查 避免热点 尽量短，并且尽量长度一致
HBase的RowKey设计原则
小黑的博客
05-19 651
HBase的RowKey设计原则 Rowkey长度原则 rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。 建议越短越好，不要超过16个字节，原因如下： （1）数据的持久化文件HFile中是按照KeyValue存储的，如果Rowkey过长比如100个字节，1000万列数据光Rowkey就要占用100...
hbase的rowKey的设计原则
lds_include
03-28 486
hbase的rowKey的设计原则. Rowkey长度原则 Rowkey 是一个二进制码流，Rowkey 的长度被很多开发者建议说设计在10~100 个字节，不过建议是越短越好，不要超过16 个字节。 原因如下： （1）数据的持久化文件HFile 中是按照KeyValue 存储的，如果Rowkey 过长比如100 个字节，1000 万列数据光Rowkey 就要占用100*1000 万=...
HBase RowKey设计原则（全面）
Universe — Higher and farther
12-04 5598
这篇HBase的行健设计原则文章主要依据HBase官方文档和一些相关文章总结而来，可以说是比较靠谱和全面的一个rowkey设计总结。主要还是分四块来介绍：RowKey的设计原则1. rowkey长度原则 2.rowkey散列原则 3.时间戳反转 Reversiong the Key 4. rowkey唯一原则。
HBase的rowkey设计原则
qq_32736999的博客
11-08 1048
HBase的RowKey设计原则 1、rowkey长度原则 rowkey是一个二进制码流，可以是任意字符串，最大长度 64kb ，实际应用中一般为10-100bytes，以byte[] 形式保存，一般设计成定长。 建议越短越好，不要超过16个字节，原因如下： 目前操作系统都是64位系统，内存8字节对齐，控制在16个字节，8字节的整数倍利用了操作系统的最佳特性。 2 rowkey散列原则 ...
HBase 中RowKey的设计原则
timchen525的专栏
08-12 1080
HBase 中RowKey的设计原则
HBase rowkey设计原则
HoldonWithYourGoal的博客
11-09 1047
Hbase是三维有序存储的，通过rowkey、column key（column family和qualifier）、timestamp这三个维度可以对数据进行快速定位。 1、通过get方式，指定rowkey获取唯一一条记录。 2、通过scan方式，setStartRow和setEndRow参数进行范围匹配。 3、全表扫描。 rowkey设计原则 1. 唯一原则 2.
hbase的rowkey设计原则
07-11
在设计HBase的RowKey时，可以考虑以下原则： 1. 唯一性：RowKey应该是唯一的，以确保不会发生冲突。可以使用时间戳、UUID或其他唯一标识符来作为RowKey的一部分。 2. 效率性：RowKey的设计应该考虑到查询和检索的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值