
hbase
docsz
擅长大数据平台架构,数仓设计,数据湖落地;构建企业级数据平台
展开
-
Hbase基础
1:hbase概念 1.1:table table columnfamily -列簇 column01,column02,… -列 rowkey -主键,每一条数据唯一的标识符 面向列的数据库,插入数据时: rowkkey + columnfamily + column + timestame : value —>统称为cell(单元) 1.2: rowkey:表中每行记录的主键,为了方便...原创 2020-03-11 23:34:28 · 512 阅读 · 0 评论 -
HDP3.1中Hbase的MemStore Flush
一:Hbase Memstore Flush Hbase中,Region时集群节点上最小的数据存储单元,用户数据表由一个或多个Region组成。 在Region中,每个ColumnFamily(列簇)的数据组成一个Store。每个Store由一个或多个StoreFile实例,StoreFile是对存储数据文件(HFile)的轻量级封装。 一个Store还有一个MemStore。每一个HRegion...原创 2020-03-11 14:34:13 · 401 阅读 · 0 评论 -
Hhase优化之降低IO
1:Hbase表如何设计 1.1: 优化手段:适当增加列簇个数,一起读写的列放在一个列簇。 优化原理:family多,获取单个cell数据时就不会去扫描同一rowkey的所有数据(按列簇存储),明显降低IO。 使用场景: a、读多写少(family反而增加写的开销,甚至带来过多的split); b、经常是某些字段一起读(有规律的); c、内存充裕,每个region的每个family对应一个stor...原创 2020-03-10 23:32:50 · 376 阅读 · 0 评论