HBase写请求分析

最新推荐文章于 2023-11-25 15:32:17 发布
最新推荐文章于 2023-11-25 15:32:17 发布
阅读量2.8k 收藏 1
点赞数 1
分类专栏： HBase 文章标签： 大数据 HBase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Pun_C/article/details/46841679
版权
本文深入探讨HBase的写请求流程，包括客户端如何通过HTable.put发送请求，以及服务端如何执行写操作。客户端利用缓存和并发控制策略减少对HRegionServer的压力，服务端通过HRegion的批量处理、MVCC和WAL实现高性能和一致性。在服务端，HRegionServer执行事务，包括行锁、时间戳更新、WAL记录和提交事务，确保行级别的事务一致性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

    HBase作为分布式NoSQL数据库系统，不单支持宽列表，并且对于随机读写来说也具有较高的性能。在高性能的随机读写事务的同时，HBase也能保持事务的一致性。目前HBase只支持行级别的事务一致性。本文主要探讨一下HBase的写请求流程，主要基于0.98.8版本的实现。

客户端写请求

   HBase提供的Java client API是以HTable为主要接口，对应其中的HBase表。写请求API主要为HTable.put（write和update）、HTable.delete等。以HTable.put为例子，首先来看看客户端是怎么把请求发送到HRegionServer的。

   每个put请求表示一个KeyValue数据，考虑到客户端有大量的数据需要写入到HBase表，HTable.put默认是会把每个put请求都放到本地缓存中去，当本地缓存大小超过阀值（默认为2MB）的时候，就要请求刷新，即把这些put请求发送到指定的HRegionServer中去，这里是利用线程池并发发送多个put请求到不同的HRegionServer。但如果多个请求都是同一个HRegionServer，甚至是同一个HRegion，则可能造成对服务端造成压力，为了避免发生这种情况，客户端API会对写请求做了并发数限制，主要是针对put请求需要发送到的HRegionServer和HRegion来进行限制，具体实现在AsyncProcess中。主要参数设定为：

  • hbase.client.max.total.tasks              客户端最大并发写请求数，默认为100
  • hbase.client.max.perserver.tasks      客户端每个HRegionServer的最大并发写请求数，默认为2
  • hbase.client.max.perregion.tasks      客户端每个HRegion最大并发写请求数，默认为1

    为了提高I/O效率，AsyncProcess会合并同一个HRegion对应的put请求，然后再一次把这些相同HRegion的put请求发送到指定HRegionServer上去。另外AsyncProcess也提供了各种同步的方法，如waitUntilDone等，方便某些场景下必须对请求进行同步处理。每个put和读请求一样，都是要通过访问hbase:meta表来查找指定的HRegionServer和HRegion，这个流程和读请求一致，可以参考文章的描述。

服务端写请求

    当客户端把写请求发送到服务端时，服务端就要开始执行写请求操作。HRegionServer把写请求转发到指定的HRegion执行，HRegion每次操作都是以批量写请求为单位进行处理的。主要流程实现在HRegion.doMiniBatchMutation，大致如下：

  1. 获取写请求里指定行的行锁。由于这些批量写请求之间是不保证一致性（只保证行一致性），因此每次只会尝试阻塞获取至少一个写请求的行锁，其它已被获取的行锁则跳过这次更新，等待下次迭代的继续尝试获取
  2. 更新已经获得行锁的写请求的时间戳为当前时间
  3. 获取HRegion的updatesLock的读锁。
  4. 获取MVCC（Mu
最低0.47元/天 解锁文章
HBase读请求分析
PunC的专栏
07-11 2943
HBase为了提供实时查询，以及较高性能的写请求事务吞吐量，对读/写请求都做了大量的优化。经过阅读源码和远程调试，大致了解了读请求的流程。本文主要是基于HBase的0.98.8版本的实现。 客户端读请求     HBase为客户端提供了的读请求API主要有两个，get和scan。其中，get是通过指定单个的rowKey，获取其对应的value值。而scan是指定startRow和sto
HBase Client的请求过程
qq_42316200的博客
11-23 722
HBase Client的请求过程 1、 Client的请求过程涉及哪些角色和组件 2、 请求过程中涉及的组件有哪些可配置参数 1、HBase写数据流程 1.1: 流程：Client请求Zookeeper确定meta表所在的RegionServer所在的地址，接着根据Rowkey找到数据所归属的RegionServ...
HBase写入的各种方式总结汇总（代码）
weixin_33767813的博客
03-13 714
2019独角兽企业重金招聘Python工程师标准>>> ...
spark 写 hbase
weixin_45406835的博客
10-13 614
前戏: 1.spark操作结构化数据利用hbase进行去重 2.大致思路:将数据处理成结构化数据–>spark调用hadoop api 将数据以hfile形式存入hdfs—>以bulkload方式将数据批量导入hbase 以下以cdh5.16.2生产环境为例: hadoop版本:2.6.0 hbase版本:1.6.0 spark2版本:2.4.0 zk版本:3.4.5 1.所需依赖: <?xml version="1.0" encoding="UTF-8"?> <project
HBase读写性能解析以及提升性能方案
。。。。。。
03-15 4678
HBase写流程原理 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lpCulF9X-1615795053119)(C:\Users\Administrator\Pictures\Saved Pictures\QQ截图20210223163312.png)] 1）Client 先访问 zookeeper，获取 hbase:meta 表位于哪个 Region Server。 2）访问对应的 Region Server，获取 hbase:meta 表，根据读请求的 namespa
HBase读写缓存
ThreeAspects的博客
03-15 1602
目录读写缓存BlockCacheLRUBlockCacheSlabCacheBucketCache 读写缓存   HBase上RegionServer的cache主要分为两个部分，分别是memstore&blockcache，其中memstore主要用于写缓存，而blockcache用于读缓存。   当数据写入HBase时，会先写入memstore，RegionServer会给每个region提供一个memstore，memstore中的数据达到系统设置的阈值后，会触发flush将memstore中
HBase性能优化案例分析
03-23
HBase性能优化案例分析。HDFS设计的初衷是为了存储大文件(例如日志文件)，面向批处理、顺序I/O的。然而架设在HDFS之上的HBase设计的初衷却是为了解决海量数据的随机读写的请求。把这两种设计初衷截然相反的组件怎么...
hbase读写请求详细解释
weixin_33817333的博客
02-28 381
2019/2/28 星期四 hbase读写请求详细解释hbase的读写过程读请求过程 1、客户端通过 ZooKeeper 以及-ROOT-表和.META.表找到目标数据所在的 RegionServer(就是 数据所在的 Region 的主机地址)2、zk返回结果给客户端3、联系 RegionServer 查询目标数据4、RegionServer 定位到目标数据所在的 Region，发出查询请求5...
HBase基础：HBase写流程
把伤痕当酒窝
10-12 413
架构图 架构图摘自网络，后续例子使用个人集群进行讲解 HBase写流程详解 假如我们有三台机器，ruozedata001ruozedata002ruozedata003 写流程： 首先要写数据，要有客户端、zookeeper 架构图中的：Put：table/RowKey/CF/Column: V，例如插入一条数据： 数据表：bigdata:student ，RowKey：1...
Hbase操作示例 Hbase的读写例子
03-21
本人原创， 1.Hbase连接需要改Hbase包中的两个配置文件,加上Hbase所在机器ip及端口 2.HBaseDMLT初始化环境 3.MapDataIni为建表 4.MapDataInsert为写数据 5.MapDataDelete为删除数据 6.MapDataRead为读数据
HBase全局一致性事务支持Tephra.zip
07-19
Tephra 在 Apache HBase 的基础上提供了全局一致性的事务支持。HBase 提供了强一致性的基于行和区域的 ACID 操作支持，但是牺牲了在跨区域操作的支持。这就要求应用开发者花很大力气来确保区域边界上操作的一致性。而 Tephra 提供了全局事务支持，可以夸区域、跨表以及多个 RPC 上简化了应用的开发。示例代码：  /**    * A Transactional SecondaryIndexTable.    */   public class SecondaryIndexTable {     private byte[] secondaryIndex;     private TransactionAwareHTable transactionAwareHTable;     private TransactionAwareHTable secondaryIndexTable;     private TransactionContext transactionContext;     private final TableName secondaryIndexTableName;     private static final byte[] secondaryIndexFamily =       Bytes.toBytes("secondaryIndexFamily");     private static final byte[] secondaryIndexQualifier = Bytes.toBytes('r');     private static final byte[] DELIMITER  = new byte[] {0};     public SecondaryIndexTable(TransactionServiceClient transactionServiceClient,                                HTable hTable, byte[] secondaryIndex) {       secondaryIndexTableName =             TableName.valueOf(hTable.getName().getNameAsString()   ".idx");       HTable secondaryIndexHTable = null;       HBaseAdmin hBaseAdmin = null;       try {         hBaseAdmin = new HBaseAdmin(hTable.getConfiguration());         if (!hBaseAdmin.tableExists(secondaryIndexTableName)) {           hBaseAdmin.createTable(new HTableDescriptor(secondaryIndexTableName));         }         secondaryIndexHTable = new HTable(hTable.getConfiguration(),                                           secondaryIndexTableName);       } catch (Exception e) {         Throwables.propagate(e);       } finally {         try {           hBaseAdmin.close();         } catch (Exception e) {           Throwables.propagate(e);         }       }       this.secondaryIndex = secondaryIndex;       this.transactionAwareHTable = new TransactionAwareHTable(hTable);       this.secondaryIndexTable = new TransactionAwareHTable(secondaryIndexHTable);       this.transactionContext = new TransactionContext(transactionServiceClient,                                                        transactionAwareHTable,                                                        secondaryIndexTable);     }     public Result get(Get get) throws IOException {       return get(Collections.singletonList(get))[0];     }     public Result[] get(List<Get> gets) throws IOException {       try {         transactionContext.start();         Result[] result = transactionAwareHTable.get(gets);         transactionContext.finish();         return result;       } catch (Exception e) {         try {           transactionContext.abort();         } catch (TransactionFailureException e1) {           throw new IOException("Could not rollback transaction", e1);         }       }       return null;     }     public Result[] getByIndex(byte[] value) throws IOException {       try {         transactionContext.start();         Scan scan = new Scan(value, Bytes.add(value, new byte[0]));         scan.addColumn(secondaryIndexFamily, secondaryIndexQualifier);         ResultScanner indexScanner = secondaryIndexTable.getScanner(scan);         ArrayList<Get> gets = new ArrayList<Get>();         for (Result result : indexScanner) {           for (Cell cell : result.listCells()) {             gets.add(new Get(cell.getValue()));           }         }         Result[] results = transactionAwareHTable.get(gets);         transactionContext.finish();         return results;       } catch (Exception e) {         try {           transactionContext.abort();         } catch (TransactionFailureException e1) {           throw new IOException("Could not rollback transaction", e1);         }       }       return null;     }     public void put(Put put) throws IOException {       put(Collections.singletonList(put));     }     public void put(List<Put> puts) throws IOException {       try {         transactionContext.start();         ArrayList<Put> secondaryIndexPuts = new ArrayList<Put>();         for (Put put : puts) {           List<Put> indexPuts = new ArrayList<Put>();           Set<Map.Entry<byte[], List<KeyValue>>> familyMap = put.getFamilyMap().entrySet();           for (Map.Entry<byte [], List<KeyValue>> family : familyMap) {             for (KeyValue value : family.getValue()) {               if (value.getQualifier().equals(secondaryIndex)) {                 byte[] secondaryRow = Bytes.add(value.getQualifier(),                                                 DELIMITER,                                                 Bytes.add(value.getValue(),                                                 DELIMITER,                                                 value.getRow()));                 Put indexPut = new Put(secondaryRow);                 indexPut.add(secondaryIndexFamily, secondaryIndexQualifier, put.getRow());                 indexPuts.add(indexPut);               }             }           }           secondaryIndexPuts.addAll(indexPuts);         }         transactionAwareHTable.put(puts);         secondaryIndexTable.put(secondaryIndexPuts);         transactionContext.finish();       } catch (Exception e) {         try {           transactionContext.abort();         } catch (TransactionFailureException e1) {           throw new IOException("Could not rollback transaction", e1);         }       }     }   } 标签：Tephra
Hbase的读写流程
Yates233的博客
09-15 130
Client向RegionServer发送写请求，RegionServer将请求转发给对应的Region，Region中写入的数据，都暂时先缓存在MemStore中，为了保障数据可靠性，会先将数据顺序写入到一个WAL（Write-Ahead-Log）日志文件中，WAL中的数据按时间顺序组织，如果内存中的数据尚未持久化，遇到断电，只需将WAL中的数据回放到Region中即可。达到触发条件会进行Compaction，将多个HFile的交错无序状态，变成单个HFile的有序状态，降低读取延时。
4、HBase读写流程
resilienter的博客
12-09 126
HBase读写流程 HBase写流程 客户端连接配置文件中指定的zookeeper，请求获取meta表所在的RegionServer zookeeper回复客户端zookeeper所需要的RegionServer表， 客户端访问对于的RegionServer，获取meta表，根据读请求的rowkey，获取目标数据位于哪个RegionServer所在的Region中。如果是第一次访问，会将该tab...
一篇文章完成Hbase入门
最新发布
lydms的博客
11-25 1万+
HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。
hbase存储结构及客户端访问hbase表的过程
10-28 2824
要说明客户端访问/操作hbase表，先简要说明hbase表的存储结构。 Hbase最初有一个表，则一个表对应一个region，随着表增大，一个region会分为多个region，即一个表对应了多个region。Region是hbase存储的最小单位，不能分割，即一个region内的数据只能存在一个服务器，但是一个表的所有region可以分布在不同的server上(hregionserver)。如
HBase客户端操作
技术何
12-01 1784
java类与数据模型Java类型 Hbase数据模型HBaseAdmin 数据库DataBase HBaseConfiguration HTable 表（Table） HTableDescriptor 列族(Column Family) Put Get 列
Tephra —— HBase 全局一致性事务支持
weixin_33851429的博客
06-09 550
Tephra 在 Apache HBase 的基础上提供了全局一致性的事务支持。HBase 提供了强一致性的基于行和区域的 ACID 操作支持，但是牺牲了在跨区域操作的支持。这就要求应用开发者花很大力气来确保区域边界上操作的一致性。而 Tephra 提供了全局事务支持，可以夸区域、跨表以及多个 RPC 上简化了应用的开发。 示例代码： /** * ...
Hbase配置项粗解
木子一个Lee的博客
10-30 1436
hbase.client.write.buffer：htable客户端写缓冲区大小，默认是2097152BYTE，这个缓冲区就是为了写数据的临时存放，设置大了，浪费客户端和服务端的存储，设置小了，如果写的数据多，太多的RPC又带来网络开销，官方给的一个服务端存储耗费评估计算是：hbase.client.write.buffer*hbase.regionserver.handler.count，服务端的rs的处理handler个数也很关键；也可以延迟加载，由HTableDescriptor指定；
HBase网络流量分析工具hbase-packet-inspector
资源摘要信息:"hbase-packet-inspector是一个用于分析HBase RegionServers的网络流量的命令行工具。它能够读取tcpdump文件或捕获网络接口的实时数据包流，从而提取有关客户端请求和响应的信息。用户可以通过配置，将...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值