hbase锁机制

最新推荐文章于 2021-12-14 11:02:38 发布
原创 最新推荐文章于 2021-12-14 11:02:38 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hbase #大数据 #锁机制 #可重入的读写锁

本文深入探讨了HBase中HRegion的lock和updatesLock锁机制，详细解释了它们如何影响region的关闭、装载数据、flush操作及MemStore的读写。通过ReentrantReadWriteLock实现，确保数据一致性并防止错误服务。合理调整相关配置可以优化性能。

博文说明：1、研究版本hbase0.94.12；2、贴出的源代码可能会有删减，只保留关键的代码。

 

  hbase的锁是采用jdk的ReentrantReadWriteLock类实现

 

  一、HRegion有两种锁：lock、updatesLock，这两种锁均是ReentrantReadWriteLock类的实例，基本上所有的region操作均需要获取lock的read共享锁，在获取了lock的read锁后，如果是增加或者删除等影响数据内容的操作则还需要获取updatesLock的read锁。

 

  1、HRegion的lock锁影响如下的操作： 


  其中关闭region的doClose方法需要持有lock的write锁，startBulkRegionOperation在进行跨列簇处理时也要求持有lock的writ锁，其它均只需持有lock的read锁，startBulkRegionOperation是在使用工具LoadIncrementalHFiles装载通过HFileOutputFormat输出的HFile文件到一个已经存在的表时执行的方法，因此执行该操作最好是在该region空闲时执行。

受lock锁影响的sta

最低0.47元/天 解锁文章
总结一下HBase各种级别的锁以及对读写的阻塞
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
10-22 1万+
为了保证并发操作时数据的一致性和性能，HBase中应用了各种各样高效的可重入锁，包括行级别的rowlock、mvcc，region级别的读写锁，store级别的读写锁，memstore级别的读写锁等等。 1、  行级别的锁RowLock HBase中为了解决行级别在并发操作中的一致性问题，采用了Rowlock机制。保证只有同一个线程同时对该行做操作。当然rowlock有lease租约的概念
精选资源
HBase-并发控制机制解析
02-25
为了实现事务特性，HBase采用了各种并发控制策略，包括各种锁机制、MVCC机制等。本文首先介绍HBase的两种基于锁实现的同步机制，再分别详细介绍行锁的实现以及各种读写锁的应用场景，最后重点介绍MVCC机制的实现策略...
HBase行锁
weixin_30609331的博客
11-26 229
1 行锁简介 在事务特性方面，hbase只支持单row的事务，不能保证跨row(cross-row)的事务。hbase通过行锁来实现单row事务。客户端进行操作时，可以显式对某一个行加锁，但是大部分情况下是没有必要的，因为如果没有显式的加行锁，hbase在内部会默认的加行锁。为了描述方便，用户显式加的行锁简称为显式行锁。 源码1：客户端使用显式行锁的示例代码 HTabl...
hbase 事务与锁
03-14
本文档详尽的描述了 HBASE中的事务与锁等信息，是理解hbase事务与锁的好资料
HBase行锁原理及实现
weixin_34242658的博客
07-04 178
        请带着例如以下问题阅读本文。        1、什么是行锁？        2、HBase行锁的原理是什么？        3、HBase行锁是怎样实现的？        4、HBase行锁是怎样应用的？         一、什么是行锁？         我们知道。数据库中存在事务的概念。事务是作为单个逻辑工作单元运行的一系列操作，要么全然地运行，要么全...
HBase 锁是怎样操作
最新发布
08-06
### HBase 锁机制原理及操作方式 HBase 作为一种分布式 NoSQL 数据库，支持行级事务，并通过多种锁机制来实现并发控制，以确保数据的一致性和隔离性。其锁机制涵盖了多个层次，包括行级锁（RowLock）、多版本并发...
【HBase】13-HBase行锁
通往神秘的道路的专栏
12-09 1223
像put()、 delete()、 checkAndPut(这样的修改操作是独立执行的,这意味着在一个行方式的执行中,对于每一行必须保证行级别的操作是原子性的。 region服务器提供了一个行锁( row lock)的特性,这个特性保证了只有一个客户端能获取一行数据相应的锁,同时对该行进行修改。在实践中,大部分客户端应用程序都没有提供显式的锁,而是使用这个机制来保障每个操作的独立性。 用户应该尽可...
hbase的行锁与多版本并发控制(MVCC)
SAN_YUN的专栏
11-16 543
参考：http://www.rigongyizu.com/hbase-row-lock-and-multiversion-concurrency-control/   MVCC (Multiversion Concurrency Control)，即多版本并发控制技术，它使得大部分支持行锁的事务引擎，不再单纯的使用行锁来进行数据库的并发控制，取而代之的是，把数据库的行锁与行的多个版本结合起来...
HBase行锁原理
wandier的博客
05-28 314
HBase 行锁实现原理 HBase 行锁是利用 Java 并发包 concurrent 里的 CountDownLatch(1) 来实现的。它的主要思想就是在服务器端每个访问者单独一个数据处理线程，每个处理线程针对特定行数据修改时必须获得该行的行锁，而其他客户端线程想要修改数据的话，必须等待前面的线程释放锁后才被允许，这就利用了 Java 并发包中的 CountDownLatch ， CountDownLatch 为 Java 中的一个同步辅助类，在完成一组正在其他线程中进行的操作之前，它允许一个或多个线
HBase行锁和扫描
法海你懂不?
03-05 761
HBase的主要客户端接口是由org.apache.hadoop.hbase.client包中的HTable类提供的，通过这个类，用户可以完成向HBase存储和检索数据，以及删除无效数据之类的错做。 所有修改数据的操作都保证了行级别的原子性，这会影响到这一行数据所有的并发读写操作，换句话说，其他客户端或线程对统一行读写操作都不会影响到改行数据的原子性：要么读到最新的修改，要么等待系统允许写入该行...
Hbase各级别的锁以及读写阻塞
u013939918的博客
04-26 1275
为了保证并发操作时数据的一致性和性能，HBase中应用了各种各样高效的可重入锁，包括行级别的rowlock、mvcc，region级别的读写锁，store级别的读写锁，memstore级别的读写锁等等。 1、  行级别的锁RowLock HBase中为了解决行级别在并发操作中的一致性问题，采用了Rowlock机制。保证只有同一个线程同时对该行做操作。当然rowlock有lease租约的概念，超
HBase1.1.2 row lock
fansy1990的专栏
05-19 8622
版本：HBase：1.1.2；Hadoop2.6.0；Eclipse：Mars.1 Release (4.5.1)；应用场景：HBase中有一个表，里面有一条记录，如下：现在需要根据value的值，比如当其为“true”的时候进行更新操作（也就是插入操作，表设置Versions为100），更新为false；问题描述：1） 当只有一个线程来操作的时候，可以直接取得值，然后根据值来判断即可进行插入；2
HBase row lock解析
weixin_33828101的博客
09-23 469
行锁的使用场景 row lock，行锁，顾名思义，就是给行级的锁。那什么场景下会需要加行锁？行锁的开销如何？对性能的影响如何？如何实现的？下面我们逐个分析。 锁的产生一般都是为了做互斥或者同步，对HBase来说，各个请求之间的互斥/同步关系如下： 读读：不涉及 读写：通过mvcc保证读写的一致性 写写：094版本是互斥的，1.x系列不再互斥 写和read-and-modify：互斥...
华为hbase集群执行hbase hbck 命令 hbase hbck NoAuth for /hbase/table-lock
weixin_43697701的博客
12-14 1365
华为C651集群hbase 执行hbase hbck报错 ERROR [main] master.TableLockManager: Unexpected ZooKeeper error when listing children org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /hbase/table-lock 原因是因为用户认证的问题，需要用hbase的认证文件 /opt/huawei/
HBase 行锁概念
数据源的港湾
12-12 1162
在HBase中有一个概念叫“行锁”。我们知道，HBase有一些客户端API，如put()、delete()、checkAndPut()等操作都是独立执行的，这意味着在一个串行方式执行中，对于每一行必须保证行级别的操作是原子性的。 “行锁”的特性保证了只有一个客户端能获取一行数据相应的锁，同时对该行进行修改，其它客户端则需要等到锁释放后才能修改同一行。 “行锁”机制一般是隐式的，当然客户端也可以显
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值