HBase
文章平均质量分 90
hbase的文章
大数据的江湖
天道酬勤
天行健,君子以自强不息;
地势坤,君子以厚德载物.
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据最难源码 hbase 源码 (五)之 Flush,Split,Comact 核心流程源码
HBase Flush,Split,Comact 三大动作流程源码HBase FlushHBase SplitHBase Comact作流程源码)HBase Flush总是要回顾下前面的,不妨回看上一篇好了,不多说,上干货看图MemStore 不是无限大的,当写入数据达到一定阈值条件的时候,就需要执行 Flush 动作,将数据持久化到磁盘。而负责帮助 MemStore 执行 Flush 到磁盘的组件就是 MemStoreFlusher 组件。MemStore 的默认实现是:D原创 2022-04-05 09:31:34 · 513 阅读 · 0 评论 -
大数据最难源码 hbase 源码 (四)之HBase DML(插入数据)源码分析
HBase Rowkey 寻址机制1.1. MetaCache 缓存详解MetaCache 是存在于 HBase 客户端中,用来给客户端缓存从 ZooKeeper 或者 RegionServer 获取的 Table 的 region 位置信息的组件。它的存在可以极大的帮助HBase 减小负载。第一个网络来回:客户端发送 请求给 ZK ,获取到 Meta 表的 Region 的位置第二个网络来回:客户端发送 请求给 meta 表的 region 所在的 regionserver ,扫描该 regio原创 2022-01-13 21:52:23 · 1631 阅读 · 0 评论 -
大数据最难源码 hbase 源码 (五)之 Flush,Split,Comact 核心流程源码
做好想做好为什么怎么做想做好好好努力为什么为了将来怎么做一点点努力原创 2022-02-28 18:01:18 · 339 阅读 · 0 评论 -
大数据最难源码 hbase 源码 (三)之HBase 创建表 流程源码分析
hbase ddl流程分析Connection 和 Admin,HTable 的理解Procedure 和 ProcedureExecutor 详解DDL 创建表服务端处理,CreateTableProcedureMeta 表初始化 InitMetaProcedureConnection 和 Admin,HTable 的理解一个标准的 HBase 客户端程序的写法,来看具体实现:// 第一步:获取配置HBaseConfuration conf = HBaseConfuration.create();原创 2021-12-27 21:56:53 · 2554 阅读 · 1 评论 -
大数据最难源码 hbase源码(二)之通讯、启动等
启动流程HBase RPC的详细介绍HBase 集群启动脚本HBase Master启动流程HBase HRegionServer启动流程HBase RPC的详细介绍1,HBase 的 RPC 相关的实现类:RpcServer(NettyRpcServer) + RpcClient(NettyRpcClient)如果现在启动服务端(HMaster & HRegionServer):最终肯定会有一个步骤,要启动 RPC 服务端如果现在启动客户端(Connection --> Admin原创 2021-11-19 23:27:22 · 2006 阅读 · 0 评论 -
大数据最难源码 hbase 源码 (一)之存储、模型等
源码之前先了解架构存储引擎表模型架构分析寻址机制存储引擎1,LSM treeHBase 核心介绍:HBase(PowerSet) 是 Google 的 BigTable 的开源实现,底层存储引擎是基于 LSM-Tree 数据结构设计的。写入数据时会先写 WAL 日志,再将数据写到写缓存 MemStore 中,MemStore 的内部实现是一个跳表数据结构,等写缓存达到一定规模后或满足其他触发条件才会 Flush 刷写到磁盘,为了提高从文件中查找数据的效率,将内存的数据先按照一定的规则排序,然后刷写到磁原创 2021-10-06 11:53:44 · 1064 阅读 · 0 评论 -
HBase的介绍,使用
HBase的介绍简单介绍简单运用进阶简单介绍1.1 HBase定义HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。1.2 HBase数据模型逻辑上,HBase的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。但从HBase的底层物理存储结构(K-V)来看,HBase更像是一个 map。1.3 数据模型1)Name Space命名空间,类似于关系型数据库的DataBase概念,每个命名空间下有多个表。HBase有两个自带的命名空间,分别是“hbase”和“def原创 2020-08-02 21:18:17 · 640 阅读 · 0 评论
分享