- 博客(17)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 HBASE1.2的RIT(三)--RIT产生详解1
本节详细分析，hbase不同操作是怎么产生RIT的1.状态转移原理 Region的状态变迁是基于状态机和zookeeper事件驱动的，其中，zookeeper的事件状态详见EventType类。 原理:MASTER首先改变内存状态，写在map Master在zookeeper注册监听事件 发送操作请求Regionserver Region完成操作 ...
2020-04-26 00:10:23
1686
原创 HBASE1.2的RIT(二)--hbase操作与region的状态关系
上节讨论了RIT的原理，本节主要讨论，哪些操作会导致RIT的不同状态。1.hbase操作与Region状态 hbase的客户端不同行为，导致了region的不同状态的变迁，具体如下图：标题关系图2.Region状态转移组件 Region 的状态变迁，会涉及master、zookeeper和Regionserver三个组件，其中Region的状态会存在master和met...
2020-04-25 23:23:59
598
原创 HBASE1.2的RIT(一)--RIT原理及产生
1.什么是RIT RIT实际上是指在一次特定操作行为中Region状态的变迁. 既然是状态变迁，也是就是说rit本身是一个状态转移的正常行为。下面会分别围绕RIT红色的词进行详细解释： 1.特定操作行为是指哪些操作？ 2.Region的状态有哪些？2.导致RIT操作 既然RIT指在一次特定操作行为中Region状态的变迁，特定操作行为是指什么呢？...
2020-04-25 23:09:19
1450
原创 HBASE1.2的RIT系列主题
RIT系列主题主要围绕以下问题展开rit的状态都有哪些？ 那些操作会触发rit？ 状态在哪些组件转移？ 哪些rit会导致问题？ 为什么会出现long time rit？ rit怎么修复？...
2020-04-25 22:52:39
367
原创 Hbase的GC时间小于zookeeper超时时间宕机分析
1.生产现象 生产上，hbase因为GC原因宕机，详细日志如下2.问题 我的zookeeper超时时间设置时60s，为什么59s就检测到宕机？3.原因分析 1.第一个原因是的zookeeper超时时间没设置正确 2.正确设置后，发现还是出现不到时间宕机的情况，分析发现hbase的宕机时间是2/3的zookeeper超时时间。...
2020-04-24 14:57:06
783
原创 CDH5.16.x的hbase的Replication
一. 集群间的复制 集群复制分类异步非串行复制 异步串行复制 同步复制二. 集群间的异步复制配置1.基本介绍 本节不对原理进行介绍，主要还是针对表级别配置集群间的配置 异步复制主要是保证数据的最终一致性，可以针对表和列族级别进行配置。 非串行异步：region迁移时，不能保证数据的一致性 串行复制：解决...
2020-04-10 14:47:01
365
原创 IDEA+maven 编译hbase源码(CDH5.16.1)
一.github下载源码1.下载源码连接: github:https://github.com/cloudera/hbase.git等待下载加载成功后会trunk分支，没有任何实际分支和项目2.设置环境设置java的版本和maven的版本3.获取对应版本切换对应版本分支，项目右键，选择git...
2019-07-05 20:54:21
1397
1
原创 hbck源码系列(七)--Orphan(hdfs的regioninfo丢失)案例1
一. Region在Meta信息完整，Regioninfo文件丢失 1.异常定位 全局检查 hbck -details testorphan1ERROR: Orphan region in HDFS: Unable to load .regioninfo from table testorphan1 in hdfs dir hdfs://hadoop...
2019-06-28 15:09:50
2243
原创 HBCK详解-异常定位和修复总结(1)-Meta、RS和hdfs的不一致的异常定位和修复
主要围绕以下几个方面展开：什么是一致性 HBCK到底可以检查和修复哪些一致性情况 每一种情况对应的异常有哪些表现 怎么定位异常和修复？一. HBCK一致性 一致性是指Region在meta中的meta表信息、在线Regionserver的Region信息和hdfs的Regioninfo的Region信息的一致。二. 一致性的检查和修复命令 一致性检查命令h...
2019-06-27 17:41:30
2600
原创 hbck源码系列(六)--Orphan的异常定位和修复
一. Orphan修复风险 我们了解了hbck对orphan修复原理后，知道orphan是根据hdfs的Hfile修复的regioninfo文件(如果没有Hfile，则直接将该region进行sideline)，再删除该region. HBCK这种修复存在的风险，是由于region变迁导致： (1)如果region的数据hfile数据为空,但是内存存在数据,突...
2019-06-24 23:17:09
1254
2
原创 hbck源码系列(五)--Orphan源码分析
一.Orphan 原理 1.1 什么是Orphan Orprphaned regions are regions without a .regioninfo file regions are regions without a .regioninfo file Orphan 是指region对应的Regioninfo文件在hdfs文件丢缺失。 1....
2019-06-04 14:07:34
453
1
原创 hbck源码系列(四)--表的完整性检查和修复<Check>
一，完整性检查 1检查表在HDFS的完整性二.checkRegionChain方法 完整性检查，主要检查工作在checkRegionChain方法，该方法主要两个作用： 1.根据检查条件，检查异常 2.根据检查条件，修复异常 检查条件和异常都指什么？ 2.1 异常 @Override public void ha...
2019-05-30 23:38:09
931
2
原创 hbck源码系列(三)--表的完整性检查和修复< LoadData>
一.数据加载方法 检查表的完整性是离线的，也就是检查表在HDFS的完整性，所以，首先hbck会从HDFS加载数据，源码的主要方法：loadHdfsRegionDirs：加载HDFS的区域的目录，封装到HBCKinfo的HdfsEntry部分属性。 loadHdfsRegionInfos：加载和打开HDFS的regioninfo文件，获取regioninfo信息，更新hbckin...
2019-05-30 00:13:58
360
原创 hbck源码系列(二)--表的完整性检查和修复<onlineHbck>
一.onlineHbck 上一篇提到hbck的修复分为表的一致性修复和表的完整性修复，实际的修复和检查都在这个方法 onlineHbck,由源码可知表的完整性检查和修复，是可离线操作，而一致性是在线操作。二. 表的完整性检查和修复 offlineHdfsIntegrityRepair 完整性检查是针对表级别，主要是检查表的完整性，如region的...
2019-05-27 12:51:23
497
原创 hbck源码系列(一)--hbck基本介绍
本文主要针对CDH5.13.3对应hbase1.2版本来分析hbck，帮助大家在运维中正确使用该修复工具一.hbck基本介绍Hbck主要有两个作用：检查异常和修复异常注意：该图参考范欣欣的一个ppt图.一致性修复一致性检查主要检查是检查Region在meta中的Region、在线Regionserver的Region和hdfs的Regioninfo的Region信息...
2019-05-22 10:52:14
1166
原创 Spark的优化(一)---分区
spark的可以通过分区，调整任务的并行度，以减少分布式程序中，通信的代价。因此，控制数据的分布可以减少网络的传输，以提升性能。 本节主要从分区的角度，来说明spark的优化点。
2017-09-16 16:45:12
517
Scala编程 第3版.rar
2019-06-12
go语言编程指南
2018-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人