
hbase
文章平均质量分 70
荩辞
这个作者很懒,什么都没留下…
展开
-
Hbase读流程详解
关键组件 -- 读缓存block cache(磁盘读的数据) memstore hstore总结定位操作和写流程中的一致 关键字 zk meta-region-server meta表所在位置 meta表结构 根据table和row-key所在范围 定位region读操作:内存 磁盘 一起都读 读完后要合并merge 比较时间戳 读缓存里存的是block 块大小 64K 索引合并的时候 磁盘有3个过滤 时间rowkey和布隆过滤器 此文件是否需要的扩展因为...原创 2021-03-05 19:43:17 · 165 阅读 · 0 评论 -
hbase row-key设计
总结笔试:关键是三个原则散列性 一定要和提前分区联系 散列的方式(hash值打散 分区号+“_”+)唯一性 ->长度原则 (70-100位) 要满足数十亿数据设计row-key要规划好预分区散列最好的方式是轮询 缺点是不好找拿数据的时候 不能用stoprow 到 startrow所以 经常用的数据 而且要一起拿的 尽量放在一个分区考虑数据的集中性 和业务相关散列的方式 随机数row-key => 类似于分...原创 2021-03-05 17:44:40 · 200 阅读 · 1 评论 -
Hbase写数据流程详解
1. 先说总结的话: 客户端client 通过zookeeper 获知meta表所在的节点,又通过table和rowkey在meta表中找到 要进行操作的region的节点 进行发送请求,请求先追加写入wal日志中,然后数据写入到对应的MEMstore中 并在哪里进行排序之后regionserver会返回ack进行核对。详解:meta表的地址 在 zookeeper的 根目录下的 base 下的 meta-region-server中 人工查看的话 是乱码 然后是节点名称和 hbase机器的.原创 2021-03-04 15:33:27 · 349 阅读 · 1 评论