hbase之setCaching 和 setBatch 和setMaxResultSize

本文详细探讨了HBase中setCaching、setBatch和setMaxResultSize的原理和作用,通过公式解释了它们如何影响RPC调用次数和结果返回数量。介绍了ClientScanner的scan过程,并分析了默认参数设置及其对性能的影响,旨在帮助理解这些配置参数的含义和优化策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.前沿

关于hbase setCaching ,setBatch 网上搜索一大把资料,主要的目的是以空间换时间,减少RPC请求的次数 ;之前看到的一些文章不能完全解答自己的一些疑惑 比如 :不设置setBatch,返回的result 的数量?其对rpc次数的影响?setCaching默认值?其次新版本hbase(HBase-0.98 之后的版本,还没有考证)引入了setMaxResultSize 的概念等。 特此写篇博客记录下

2.ClientScanner scan 的原理以及源码查看

先写之前,总结下一些公式(大致可以参考为,不完全正确):

Result 返回的个数 =( row数 * 每行的列数 )/ Min(每行列数,Batch大小)

RPC 返回的个数  = (row数 * 每行的列数)/ Min(每行列数,Batch大小) / Caching大小

(只所以 称为 参考公式 原因如下,第一引入了setMaxResultSize 参数,判断某次rpc调用结束的机制发生变化,肯定还以setMaxResultSize 有关啦 ,第二 (row数 * 每行的列数)准对每行的列数是固定的,如果不固定,此公式可能有所误差)

 

setMaxResultSize 作用 :

看到上面的公式,我们可以得出 setCaching 是用来控制rpc的个数,但仅仅按照这个阈值貌似还差点什么

HBase 是一个基于 Hadoop 的分布式列式数据库,它提供了高吞吐量随机读写能力,适用于大规模数据存储。以下是HBase的基本安装配置步骤: 1. **安装Hadoop**: HBase 需要运行在 Hadoop 集群上,首先确保你已经成功安装了 Hadoop,包括 HDFS YARN。Hadoop官网提供详细的安装指南。 2. **下载HBase**: 访问 HBase 官网(https://hbase.apache.org/)下载适合你系统版本的 HBase 分布式版本的二进制包。 3. **配置环境变量**: 将 HBase 的 bin 目录添加到系统的 PATH 变量中,这样可以在命令行中轻松访问 HBase 的工具。 4. **启动HBase Master**: 运行 `start-hbase.sh` 或者 `start-hbase.cmd`,这将启动 HMaster(主服务器),它是集群的管理器。 5. **格式化 HBase 数据目录**: 在第一次运行 HBase 之前,需要格式化 HBase 的数据目录。使用 `hbase org.apache.hadoop.hbase.util.HBaseFsck --meta` 命令检查元数据表,如果需要格式化,使用 `hbase org.apache.hadoop.hbase.util.HBaseAdmin --create метаданные_директория`。 6. **启动 DataNodes**: 如果你是 HDFS 的客户端,确保 DataNode 已经运行,因为 HBase 使用 HDFS 存储数据。 7. **配置 HBase 配置文件**: 配置 `conf/hbase-site.xml` 文件,设置重要参数如 `hbase.rootdir`(HBase 数据存储路径)、`hbase.zookeeper.quorum`(ZooKeeper 服务器地址)、`zookeeper.znode.parent` 等。 8. **启动 HRegionServer**: 启动 HRegionServer 来处理客户端的请求,可以使用 `start-hbase-regionserver.sh` 或者 `start-hbase-regionserver.cmd`。 9. **验证安装**: 使用 `hbase shell` 命令打开 HBase Shell,可以运行一些基本操作来测试 HBase 是否正常工作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值