大数据_MapperReduce_Hbase_批处理batchMutate源码分析_数据的写入流程源码分析---Hbase工作笔记0032

最新推荐文章于 2023-08-28 09:41:58 发布
最新推荐文章于 2023-08-28 09:41:58 发布
阅读量370 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 硬件&嵌入式&物联网
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/112881455
本文深入剖析HBase的批处理机制，通过源码解析batchMutate过程，包括行级锁、更新时间戳、预写日志（WAL）、内存中的Memstore操作以及协处理器执行等步骤。当预写数据写入HDFS出错时，会进行回滚操作，确保数据一致性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152

我们知道hbase是用java语言编写的,所以我们再来看一下源码:

然后我们再去看一下这个batchMutate批处理的过程.

可以看到里面有个doMiniBatchMutation

然后我们

然后里面有很多STEP对吧我们去看看.

把这些STEP拿出来看

然后我们看,首先第一步,就是获取一个lock对吧,这里获取了一个行lock,我们说在hbas

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据_MapperReduce_从CSV文件中读取数据到Hbase_测试---Hbase工作笔记0022
添柴程序猿的专栏
01-16 456
技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152 然后我们继续看,这里我们写完以后,一会咱们去测试一下. 可以看到上一节我们已经写了,从csv文件中导入数据到hbase中的,这样的mapper 和 reducer 程序. 然后tool中也已经写好了. 但是mapper程序我们还没有写完. 然后我们继续完善这个mapper,我们需要从我们创建的csv文件中,把rowkey,以及内容获取到对吧. 可以看到上面的这个内容,是我们csv中的
大数据_MapperReduce_Hbase的优化和Hbase相关面试题_以及hbase的javaapi的一部分源码---Hbase工作笔记0029
添柴程序猿的专栏
01-19 313
技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152 然后我们进一步去看一下,这个hbase相关的一些优化情况. 首先我们去看这个内存优化. 可以看到,table应该可以缓存在内存中,所以hbase会分配百分之70,给java的堆,内存, 但是不建议分配太大的堆内存,给hbase的java堆. 因为我们知道gc,在运行的时候,有个概念叫做, stop the world 就是停止世界,也就是说,当我们的gc再去回收内存的时候,他对其他进程去
关于HBase客户端的写缓存BufferedMutator
Dancer_AI的博客
12-01 3019
客户端的写缓存 HBase的每一个put操作实际上是一个RPC操作，将客户端的数据传输到服务器再返回结果，这只适用于小数据量的操作，如果数据量多的话，每次put都需要建立一次RPC的连接（TCP连接），而建立连接传输数据是需要时间的，因此减少RPC的调用可以提高数据传输的效率，减少建立连接的时间和IO消耗。 HBase的客户端API提供了写缓存区，put的数据一开始放在缓存区内，当数量到达指定的容量或者用户强制提交是才将数据一次性提交到HBase的服务器。这个缓冲区可以通过调用 HTable.setAu
hbase php mutaterow,noSql-Hbase-php读写操作hbase数据库的基本方法
weixin_30359591的博客
03-27 140
$GLOBALS['THRIFT_ROOT'] = 'thrift';require_once( $GLOBALS['THRIFT_ROOT'].'/Thrift.php' );require_once( $GLOBALS['THRIFT_ROOT'].'/transport/TSocket.php' );require_once( $GLOBALS['THRIFT_ROOT'].'/transp...
hbase php mutaterow,通过Thrift在HBase中mutateRow（）需要未记录的第四个参数
weixin_39548541的博客
03-27 211
没问题。另外，我并没有仅仅转储已创建列的值，而是实际转储修改后的列的最后三个版本，因为它很酷。在为了完整起见，我大致上做了以下几项工作：下载并构建Thrift(使用SVN。。2012-11-15/1429368)。在从我想要创建Python接口文件的路径运行“thrift-genpy&lt；thrift file&gt；”。在通过PIP安装了“thrift”软件包。在我从生成的文件...
HBase写流程源码--1.4.11
zxc132465258的博客
05-30 301
这些肯定不全是自己的，但是参考别人的文章加上自己的独立思考，一定能有新的收获 这里主打讲一下写入流程的源码，以及给出自己的参考资料~ 然后谈一下自己rowkey设计的想法好了，其实我没设计过多少rowkey，每次都是业务自己设计的哈哈哈（然后一堆热点问题mmd） 所以规范业务的行为也是十分重要的，包括重要的列族设计，以及rowkey设计，如果业务不规范使用出问题了那就不是咱的问题 写流程概览图 (客户端连接zookeeper --> 寻找meta --> 找到对应的RS -->
HBase-1.2.1之Get操作源码学习
mm_bit的博客
05-30 1593
最近在学习HBase的源码，主要是学习HRegionServer部分。从Get请求入手，找到了主要的实现类：Get，HTable，ConnectionManager等。具体如下： Get操作：使用Java API读取数据： 1、  实例化Configuration类 Configuration conf = HbaseConfiguration.create(); 在Hba
大数据_MapperReduce_Hbase配置参数说明_以及部分源码说明---Hbase工作笔记0031
添柴程序猿的专栏
01-20 299
技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152 然后我们接着去看,这里我们主要看一些参数,以及对一些参数的源码说明 首先我们看这个他的master节点的端口可以看到是16000 我们知道master的网页端的端口是:16010对吧. 然后再去看这个说regionServer的全局的memstore的大小,超过该大小会触发flush到磁盘的操作,默认的是堆大小的40%,flush会阻塞客户端读写. 也就是说regionServer的中的所
大数据_MapperReduce_将Hbase的结果统计分析后保存到mysql中_自己动手写mapper和reducer---Hbase工作笔记0023
添柴程序猿的专栏
01-17 330
技术交流QQ群【JAVA,C++,Python,.NET,BigData,AI】：170933152 将hbase的结果统计分析后,保存到mysql中去. 我们先准备一个工程 然后这里我们写一个HBase2MysqlTool这样一个工具类 这里可以看到我 然后我们去看这里,我们的mapper,和reducer,可以看到这部分. 我们怎么把数据从hbase,转到mysql呢? 这里我们用了一个cachedata来传递我们看看. 注意这个tool这个类,中setConf, .
hbase语法和java_api操作hbase
Shixuefeng2410的博客
04-27 723
#主键 rowkey设计-+ sqoop ->hbase hive ->hbase java api ->hbase console ->hbase #控制台建立访 问接口 hbase shell #存储结构 库：命名空间 namespace 表： table +列：列簇 column family htable...
HBase客户端的批量写缓存BufferedMutator
最新发布
five小点心的博客
08-28 2107
BufferedMutator是什么？又应该如何实现呢？
HBase源码分析（二） 2021SC@SDUSC
qq_45856546的博客
10-10 707
HBase源码分析（二） 2021SC@SDUSC 文章目录前言一、HRegionServer作用HRegionServer作用如下：二、对Client端代码分析1.put方法：2.用doput代码判断3.flushCommits方法如下：4.ConnectionImplementation的processBatch方法：过程如下：三.对Server端代码分析1.multi方法：2.batchMutate：四.总结 前言 在 HBase中，大部分的操作都是在RegionServer完成的，Client端
HBase1.0.0源码分析之请求处理流程分析以Put操作为例（二）
Grok coding
04-13 1574
HBase1.0.0源码分析之请求处理流程分析以Put操作为例（二）1.通过mutate(put)操作，将单个put操作添加到缓冲操作中，这些缓冲操作其实就是Put的父类的一个List的集合。如下： private List<Row> writeAsyncBuffer = new LinkedList<>(); writeAsyncBuffer.add(m);当writeAsyncBu
HBase学习之负载均衡（balance）
热门推荐
浩先生的博客
04-01 2万+
负载均衡是计算机网络领域的一个专业术语，该术语在分布式系统领域应用非常广泛。对于HBase来讲，不同节点（RegionServer）用户请求需要负载均衡技术，其实在HBase很早的版本中已经实现了负载均衡，0.92版本后HBase的负载均衡算
HBase的put流程源码分析
进一步有一步的欢喜
04-29 1万+
hbase是一个nosql型数据库，本文我们会分析一下客户的数据是通过什么样的路径写入到hbase的。 HBase作为一种列族数据库，其将相关性较高的列聚合成一个列族单元，不同的列族单元物理上存储在不同的文件（HFile）内。一个表的数据会水平切割成不同的region分布在集群中不同的regionserver上。客户端访问集群时会首先得到该表的region在集群中的分布，之后的数据交换由客户端和
远程过程调用协议
步步为赢的专栏
07-12 542
RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 RPC采用客户机/服务器模式。请求
Hbase实战--数据读写解析
阿华田的博客
04-10 2436
Hbase写入数据的几种方式 　　我们总结一下hbase几种写入常见的方式，以及涉及的应用场景，另外再总结一下其中涉及到的一些原理知识。hbase一般的插入过程都使用HTable对象，将数据封装在Put对象中，Put在new创建的时候需要传入rowkey，并将列族，列名，列值add进去。然后HTable调用put方法，通过rpc请求提交到Regionserver端。写入的方式可以分为以下几...
Hbase 批量提交源码分析
qq1010234991的博客
11-08 823
文章目录Hbase batch()方法源码学习背景hbase版本方法介绍AsyncRequestFutureImpl类的组成结构参考链接 Hbase batch()方法源码学习 背景 项目中，常常会向hbase中存储东西，put()也是会向hbase中存储，但是batch可以批处理方式进行存储，效率更快，所以自己决定学习和分析下batch()源码 hbase版本 hbase1.3.1, 不同...
HBase的学习
weixin_28977419的博客
05-16 240
HBase的学习 HBase写入过程从源码角度 1.客户端 首先校验put validatePut(put); static void validatePut(Put put, int maxKeyValueSize) throws IllegalArgumentException { if (put.isEmpty()) { throw new IllegalArgum...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值