HBase BlockCache知识点铺垫

最新推荐文章于 2023-07-07 17:55:15 发布
最新推荐文章于 2023-07-07 17:55:15 发布
阅读量265 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： HBase 文章标签： HBase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_34874025/article/details/82729491
本文详细介绍了HBase中的BlockCache机制，包括BlockCache接口的功能与操作、BlockType与HFile结构的关系、BlockCacheKey及Cacheable的使用方式、以及CacheStats的统计功能。同时探讨了BlockCache的不同实现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

HBase BlockCache知识点铺垫

为后面继续梳理BlockCache的核心内容，在此先铺垫一下相关的知识点：

  • BlockCache接口
  • BlockType
  • BlockCacheKey, Cacheable键值对
  • CacheStats
  • BlockCache实现

BlockCache接口

BlockCache接口

从图中可以看出BlockCache接口关心的内容

  • operate
    • 针对缓存数据：cache & get & evict
    • 针对服务本身：shutdown
  • properties
    • data block count & block count
    • data size & size
    • stats: CacheStats

BlockType

BlockType

图中展示了所有的block type，一一对应于HFile的结构

BlockCacheKey, Cacheable键值对

BlockCacheKey

BlockCacheKey中并没有管理数据行的rowkey信息，这个问题，本人还需要进一步的研读，带后续进行说明

Cacheable

对于存储的Cacheable，只需要能提供相关的序列化和反序列化的功能即可

CacheStats

简单说明

  • 功能：统计【缓存】发生【事件】的【次数】 – 统计Cache的使用情况
  • 支持：
    • 窗口统计 – 变化情况
    • 单值统计 – 整体情况
  • 事件：miss & hit & evict
  • 数据类型：基本上所有的BlockType

BlockCache实现

BlockCache实现

HBase知识点总结
差不多de先生的博客
03-31 414
HBase数据模型术语 Table（表格）：HBase表格有多行组成 Row（行）：行按照key的字母顺序存储在表格中，Row Key只能存储64k的字节数据 Column（列）：包含列族列的限定符 Column Family（列族）：列族包含一组列和他们的值，HBase把同一列族里面的数据存储在同一个目录，由几个文件保存 Column Qualifier（列的限定符）：列的限定符是列族中数...
hbase之BlockCache优化
L13763338360的博客
06-22 936
1. 工作原理 读请求到HBase之后先尝试查询BlockCache，如果获取不到就去HFile（StoreFile）和Memstore中去获取。如果获取到了则在返回数据的同时把Block块缓存到BlockCache中。它默认是开启的，一个RegionServer只有一个BlockCache。 BlockCache默认开启，如果关闭BlockCache： alter 'testTable', CONFIGURATION=>{NAME => 'cf',BLOCKCACHE=>'fal
Hbase-知识点总结
weixin_36607803的博客
12-02 799
Linux命令汇总： ：/XXX   ---- 定位寻找XXX   Hbase数据库（hadoop database）参考网址： HBase以表的形式存储数据。表有行和列组成。行由行键(Row Key)来标识，列划分为若干个列族(row family). Hbase表结构 HBase中的表一般有这样的特点： 1 大：一个表可以有上亿行，上百万列 2 面向列:面向列(族)的存储
Hbase 知识点总结
iamboluke的博客
05-09 387
文章目录HBase是什么?HBase的组成1）Client2）Zookeeper3）Hmaster4）HregionServer5）HDFS1．Write-Ahead logs2．Region3．Store4．MemStore5．HFileHbase写数据流程Hbase读数据流程hbase 热点问题 rowkey的设计hbase预分区hbase get和scan的区别：hbase单列簇和多列簇1、列簇的数量对flush的影响2、列簇的数量对compaction的影响3、列簇的数量对split的影响 HBas
hbase知识点总结
一曲无痕奈何
07-24 479
hbase是什么：列式数据库 基于hdfs构建的数据库，可以存储pb级以上的数据量 列的数据可以动态增加 Hbase的 架构： hmaster:1、提供表的创建修改删除服务 2、复制RegionServerd的负载均衡 3、负...
HBase BlockCache机制讲解&源码分析
进一步有一步的欢喜
03-18 9508
HBase上RegionServer的cache主要分为两个部分，分别是memstore&blockcache，其中memstore主要用于写缓存，而blockcache用于读缓存。 当数据写入hbase时，会先写入memstore，RegionServer会给每个region提供一个memstore，memstore中的数据达到系统设置的水位值后，会触发flush将memstore中的数据刷写
HBase Block Cache（块缓存）｜面试必备
slw213106的博客
11-30 669
Block Cache HBase提供了两种不同的BlockCache实现，用于缓存从HDFS读出的数据。这两种分别为： 默认的，存在于堆内存的（on-heap）LruBlockCache 存在堆外内存的（off-heap）BucketCache 下面我们会讨论每种方法的优点和缺点、如何对两种方式做选择，以及这两种类型的相关配置。 Cache Choices LruBlockCache是最初始的实现，并且全部存在Java堆内存中。BucketCache是另一个选择，主要用于将blo
HBase核心知识点总结
01-27
读操作则涉及BlockCache和MemStore，优化了内存和硬盘之间的数据访问效率。 HBase的这种设计使得它特别适合处理海量、稀疏且需要快速访问的数据，尤其在大数据分析、实时监控和搜索引擎等领域有广泛的应用。掌握...
Hbase知识点总结
nieji3057的博客
04-25 460
一.客户端存储与读取数据流程    首先，存储数据的region信息是在hbase：meta（元数据表）中管理，而管理hbase:meta的region（只有一个）的位置是由zookeeper管理的。因此client查询数据的流程：1.client首先查询zookeeper中管理hbase：meta的region位置。2.找到管理hbase：meta的region后就找到了hbase:meta。 ...
hcache缓存cache查看工具
05-26
#https://github.com/silenceshell/hcache #直接下载hcache文件到linux,并使用该文件即可 wget https://silenceshell-1255345740.cos.ap-shanghai.myqcloud.com/hcache chmod +x hcache sudo cp hcache /usr/local/bin/ # 一、查看前10个大文件缓存 hcache -top 10 # 查看指定pid进程号的进程缓存 hcache -pid #可以将结果写入txt然后使用shell统计进程总缓存大小 #取大小 hcache -pid 117466 | awk '{print $4}' > cache.txt #求和 I=0;$I=0; for N in $(cat cache.txt); do I=$(($I + $N)); done; echo $I #ps： 一般进程缓存的文件并不会太大, 最大的可能性是读写了大文件导致文件被缓存,建议检查下是否存在无用的超大日志,查找大于1G的文件 find / -type f
分布式数据库HBase知识点总结
TTYYLLL的博客
07-07 309
hbase是系统命名空间，所有Hbase内部表都属于hbase命名空间，其他没有显示指定命名空间的表，都自动归属于default命名空间。③HRegionServer内部管理一个HLog，HLog存储数据日志，当HRegionServer发生故障，利用HLog进行故障恢复。每个Region对于HBase表中的一个Region，每个Store对应表中一个列族的存储。在Hbase内部，行键保存为字节数组，在存储时，数据按行键的字典顺序排序存储。：只存在数据插入，查询，删除，清空等操作，更新数据是生成一个。
Hbase 入门知识点总结
大数据技术分享
06-20 292
Hbase是什么？ 其源于 Google 三大论文之一的 bigtable ，是一个具有高可靠性、高性能、面向列、可伸缩的分布式存储系统，简单来说就是一个数据库。 Hbase的应用场景 这个问题比较不好回答，我们不如换个角度问：为什么要用 hbase： 数据量大，传统关系型数据库无法满足我们的需求 需要处理高并发请求 对实时性要求比较高 使用了HDFS ...
Hbase中BlockCache与Memstore的关系
06-11
在HBase中，BlockCache和Memstore都是用于缓存数据的机制，但它们之间有一些不同。 BlockCache是用于缓存HBase表中的数据块，当数据被多次访问时，可以直接从BlockCache中读取，避免了从磁盘上读取数据的开销。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值