
hbase
文章平均质量分 87
spring208208
从事大数据开发运维工作,多年pb级大数据平台运维调优经验;
专注hadoop flink spark hbase等大数据组件源码;
爱好nlp 算法 大模型
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hbase相关问题处理
通过new HTable方式,则每次方法调用都会建立新的连接,而且会从zk获取表的元数据,会导致将业务的并发传导到zookeeper服务,会对全局所有依赖zookeeper服务的节点存在一定的影响。可通过HTablePool等方式进行处理。对于Connection,一般就是初始化一次,就可在每个线程中调用conn.getTable方式获取表对象。即使连接的zookeeper节点异常,也会自动进行切换。原创 2025-03-01 17:00:51 · 694 阅读 · 0 评论 -
regionserver实例僵住问题分析
应用提交超时,发现regionserver实例异常。hbase原生页面这个实例dead,业务连接到这个rs的进程超时8个regionserver实例。D08在18:30分后显示warning,应用提交任务到这个rs节点超时,hbase控制台不显示d08的rs信息了。19:30在页面停止rs实例失败,然后kill进程。18:30统计图等就不刷新了,但是机器里rs进程在。d08节点还有dn,nn,worker实例。查看d08,发现没有最近时间的gc日志。rs日志,18:30-19:30没有日志。原创 2025-02-27 12:36:38 · 796 阅读 · 0 评论 -
hbase快照同步到目标集群出现ERROR Multiple regions have the same startkey问题分析
源集群表split过程中创建快照,该快照同步到目标集群,目标集群恢复快照后,进行hbck检查,就会出现异常报错: ERROR Multiple regions have the same startkey;首先,出现上述问题可能有如下两种原因: 1.源集群中snapshot表本身就存在这种问题,没有修复就执行snapshot,导出快照到目标集群,然后恢复表也会存在这种问题。 2.在执行split/merge的同时执行了snapshot,若此时子region上线但父region还没下线,这样原创 2025-02-11 18:20:07 · 1247 阅读 · 0 评论