hbase原理

在Hbase集群中,这两类节点分别负责不同的任务。其关系遵从master-slave主从结构

HMaster节点主要负责:

a.负责指派region给RegionServer.通过zk获得task的帮助

b.处理跨RegionServer的region的负载均衡问题。

c.从繁忙服务到空闲服务器之间的数据转载。

d.通过裁定负载均衡判断集群的状态

region:区域。存储管理表。

HRegionServer节点主要负责:

a.和client通信

b.处理数据操作

c.处理它下面的所有region的读写请求,一个HRegionServer具有多个region。

d.通过阀值决定region size.


region size:区域的大小,每个区域都是有大小的,由hbase.hregion.max.filesize配置,默认10G,可以在webui界面进行查看,也就是说,当表的数据>10G,
一个区域装不下的时候,当前表会被分割成多个,存储在不同的区域内,当然也有可能存储在不同的RegionServer的region中。

在一个Hbase集群中包含了HMaster和HRegionServer,HMaster主要来负责调控,保证Hbase集群的负载均衡,保证数据在存储的时候能够均衡存储,
不至于只存在某个节点造成负载不均衡,而HRegionServer则是存放数据的节点,HRegionServer节点包含多个region用来存放管理我们生成数据的表。

我们可以看出Hbase主要处理两种文件:一种是预写日志(Write-Ahead Log,WAL,标准的Hadoop SequenceFile),预写日志主要是为了容错,
在写的过程中如果出现错误或是断电,使用WAL能够恢复。另一种是实际的数据文件。这两种文件主要由HRegionServer节点管理。
在默认的情况下,HMaster也可以进行一些底层的文件操作。当存储数据到HDFS中时,用户可能注意到实际的数据文件会被切分成更小的块。也正是这一点,用户可以配置系统来更好的处理较大或较小的文件。

写入存储的流程是客户端首先会联系Zookeeper集群,还记得我们之前在大数据系列协同服务Zookeeper中说的么。
ZooKeeper来协调服务,任何配置在ZooKeeper集群上的节点在开启的时候都会向zk(ZooKeeper)集群来注册信息,
包括高可用HA的信息。Hbase配置在zk上,当然也会有注册信息,我们之前说过,可以在zk的客户端中进行查看,别忘了,zk数据存储的格式是:目录 数据

内容概要:本文档提供了关于“微型车间生产线的设计与生产数据采集试验研究”的毕业设计复现代码,涵盖从论文结构生成、机械结构设计、PLC控制系统设计、生产数据采集与分析系统、有限元分析、进度管理、文献管理和论文排版系统的完整实现。通过Python代码和API调用,详细展示了各个模块的功能实现和相互协作。例如,利用SolidWorks API设计机械结构,通过PLC控制系统模拟生产流程,使用数据分析工具进行生产数据的采集和异常检测,以及利用进度管理系统规划项目时间表。 适合人群:具有机械工程、自动化控制或计算机编程基础的学生或研究人员,尤其是从事智能制造领域相关工作的人员。 使用场景及目标:①帮助学生或研究人员快速搭建和理解微型车间生产线的设计与实现;②提供完整的代码框架,便于修改和扩展以适应不同的应用场景;③作为教学或科研项目的参考资料,用于学习和研究智能制造技术。 阅读建议:此资源不仅包含详细的代码实现,还涉及多个学科领域的知识,如机械设计、电气控制、数据分析等。因此,在学习过程中,建议读者结合实际操作,逐步理解每个模块的功能和原理,并尝试调整参数以观察不同设置下的系统表现。同时,可以参考提供的文献资料,深入研究相关理论和技术背景。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值