Hbase Client端分析

[size=large][b]原创文章,请各位多多指导,有错误希望各位能及时告诉我,感激不尽~[/b][/size]
1. 不管客户端官方实现是采用processBatchOfRows,还是processBatchOfDeletes这种批量添加,删除,最终插入,删除的核心还是还是getRegionServerWithRetries方法,批量添加,删除还是
a) 批量操作:
1. 生产Map<HServerAddress, MultiAction>,拿到传入的row list,即worklist,这里的rowlist就是缓存中的操作,然后通过row,定位regionlocation,然后得到HserverAddress,然后一个address与multiaction关联,multiaction是一批操作的集合,即put,get,delete 的集合。这个关联操作是在集合中进行的,也就是是说会向multiaction中添加action,action是用regionName,row,originalIndex三个参数构造的,我们知道,put,get,delete都实现了row接口,这样,我们就将serveraddress以及针对这个serveraddress有哪些操作关联了起来。
2. 接下来构造Map<HServerAddress,Future<MultiResponse>>对象,接下来遍历Map<HServerAddress, MultiAction>对象,调用:
futures.put(e.getKey(), pool.submit(createCallable(e.getKey(), e.getValue(), tableName)));方法,这样就会启用线程池去批量执行callable任务,这里的callable任务就是针对每个key -> serveraddress拿到multiaction去执行,然后返回future调用结果。而这里的createCallable方法,就会调用我所说的核心方法getRegionServerWithRetries。
3. 拿到返回的result,根据result的结果,如果为null,那么就放入worklist中,准备重试,返回的也可能是exception,那么就拿到这些exception,然后放入exception list中,接下来判断if (!exceptions.isEmpty()),那么就throw new RetriesExhaustedWithDetailsException,将异常包装之后,抛出。
所以,批量处理无非是启用线程池,将action提交到worklist中,由多个线程去处理,每个线程处理的任务是其实是multiple的,即他的一个任务中,又包含了多个put,get,delete任务,一个线程处理的就是一个serveraddress对应的一批任务。这里的serveraddress是由locateRegion(tableName, row.getRow(), true)确定的,而这个函数就是上面所诉的:Hbase理由代码分析中的核心函数。
电动汽车数据集:2025年3K+记录 真实电动汽车数据:特斯拉、宝马、日产车型,含2025年电池规格和销售数据 关于数据集 电动汽车数据集 这个合成数据集包含许多品牌和年份的电动汽车和插电式车型的记录,捕捉技术规格、性能、定价、制造来源、销售和安全相关属性。每一行代表由vehicle_ID标识的唯一车辆列表。 关键特性 覆盖范围:全球制造商和车型组合,包括纯电动汽车和插电式混合动力汽车。 范围:电池化学成分、容量、续航里程、充电标准和速度、价格、产地、自主水平、排放、安全等级、销售和保修。 时间跨度:模型跨度多年(包括传统和即将推出的)。 数据质量说明: 某些行可能缺少某些字段(空白)。 几个分类字段包含不同的、特定于供应商的值(例如,Charging_Type、Battery_Type)。 各列中的单位混合在一起;注意kWh、km、hr、USD、g/km和额定值。 列 列类型描述示例 Vehicle_ID整数每个车辆记录的唯一标识符。1 制造商分类汽车品牌或OEM。特斯拉 型号类别特定型号名称/变体。型号Y 与记录关联的年份整数模型。2024 电池_类型分类使用的电池化学/技术。磷酸铁锂 Battery_Capacity_kWh浮充电池标称容量,单位为千瓦时。75.0 Range_km整数表示充满电后的行驶里程(公里)。505 充电类型主要充电接口或功能。CCS、NACS、CHAdeMO、DCFC、V2G、V2H、V2L Charge_Time_hr浮动充电的大致时间(小时),上下文因充电方法而异。7.5 价格_USD浮动参考车辆价格(美元).85000.00 颜色类别主要外观颜色或饰面。午夜黑 制造国_制造类别车辆制造/组装的国家。美国 Autonomous_Level浮点自动化能力级别(例如0-5),可能包括子级别的小
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值