硬件故障导致Hbase RegionServer CPU飚高

最新推荐文章于 2024-04-07 15:42:44 发布
原创 最新推荐文章于 2024-04-07 15:42:44 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #jira

国庆后修复内存故障的Hbase RegionServer a02重新加入集群，导致另一台a04 CPU使用率飙升。初步排查未发现软件异常，后经硬件检查发现a04内存存在问题，更换内存后问题解决。分析GC日志提示可能在8月初有重大事件影响，调优GC参数和启用MemStoreChunkPool以优化性能。

 

场景介绍       

      国庆期间Hbase集群有一台RegionServer a02机器的内存故障原因导致下线，集群在少一台的情况下运行正常，节后a02机器内存故障修复后重新加入集群提供服务，几乎同时发现集群另外一台a04的CPU使用率高居不下, 按照常理分析集群恢复至最初状态，应该会运行良好,实际上却是a04的CPU使用率一路飚高。

 

问题初步排查

  • Region数据排查，集群Region数量均衡，并无发现异常
  • GC日志分析,发现Parnew频率有增加，1天20-30次，与其他机器比偏高
  • RegionServer日志排查，也没有发现异常输出
  • 配合网卡、磁盘IO等也没有发现什么端倪，RPC处理队列变大

 

最低0.47元/天 解锁文章
揭秘大数据领域HBase的RegionServer负载均衡算法
AI天才研究院
05-09 1200
在大数据时代，HBase作为一种分布式、面向列的开源数据库，被广泛应用于处理海量数据。RegionServer是HBase中的关键组件，负责存储和管理Region。然而，由于数据访问的不均衡性等因素，可能会导致不同RegionServer之间的负载差异较大，从而影响整个系统的性能和可用性。因此，RegionServer的负载均衡至关重要。本文的目的就是深入剖析HBase的RegionServer负载均衡算法，揭示其工作原理和实现细节，帮助读者理解如何在实际应用中优化HBase系统的负载均衡。
hbase占用内存过高_HBase——系统调优
weixin_39846089的博客
12-20 724
JVM层HMaster 没有处理过重的负载，并且实际的数据服务不经过 HMaster，它的主要任务有2个：一、管理Hbase Table的 DDL操作， 二、region的分配工作，任务不是很艰巨。但是如果采用默认自动split region的方式，HMaster会稍微忙一些，负载不大，可适度对此进程做适量放大heap 的操作，但不可太大。RegionServer在写入数据时，数据会先保存在mem...
服务器CPU居高不下--解决问题历程
weixin_34416649的博客
09-29 415
基本的概述 在一个服务器的集群上面，服务器的CPU长时间居高不下，响应的时间也一直很慢，即使扩容了服务器CPU的下降效果也不是很明显。 对于CPU过高的原因，可以总结到以下原因： 太多的循环或者死循环 加载了过多的数据，导致产生了很多的大对象 产生了过多的对象，GC回收过于频繁（如：字符串拼接） 对于上面的情况，难点不是优化代码，难点在于定位到问题的所在...
arthas 分析线程高cpu_用 Arthas 神器来诊断 HBase 异常进程
weixin_35078004的博客
02-03 1911
1. 异常突起HBase 集群的某一个 RegionServer 的 CPU 使用率突然飙升到百分之百，单独重启该 RegionServer 之后，CPU 的负载依旧会逐渐攀上顶峰。多次重启集群之后，CPU 满载的现象依然会复现，且会持续居高不下，慢慢地该 RegionServer 就会宕掉，慢慢地 HBase 集群就完犊子了。2. 异常之上的现象CDH 监控页面来看，除 CPU 之外的几乎所有核...
解析线上HBase集群CPU飙高的原因与解决方案
涤生大数据
01-29 2408
jstack是Java开发工具包（JDK）中提供的一个命令行工具，用于生成Java虚拟机（JVM）中所有线程的堆栈跟踪信息。使用jstack命令可以获取以下信息：所有线程的堆栈跟踪：jstack命令会输出JVM中所有线程的堆栈跟踪信息，包括线程ID、状态、执行方法和行号等。这些信息可以用于分析线程的执行路径和可能的问题。死锁检测：jstack命令可以检测并输出JVM中的死锁情况。它会显示死锁的线程以及导致死锁的资源。
HBase高并发机制
最新发布
Programming Talk
04-07 963
HBase作为一种高性能的分布式存储系统，在高并发场景下具有广泛的应用前景。通过对其高并发机制、性能瓶颈以及优化策略的分析，我们可以更好地理解和使用HBase，提高系统的并发性能和稳定性。未来，随着大数据技术的不断发展，HBase还将面临更多的挑战和机遇，我们需要持续关注其最新进展，不断优化和完善我们的应用方案。
【HBase RegionServer详解】：负载均衡与故障转移的内部机制
[【HBase RegionServer详解】：负载均衡与故障转移的内部机制](https://www.adaltas.com/static/2161c4835212fb42720cad7dfcc9597c/f3583/2022-01-15-hbase_multi_regionservers.png) # 1. HBase RegionServer概述 ...
HBase RegionServer管理艺术：专家分享扩展与维护集群的黄金策略
HBase RegionServer是HBase中负责处理数据存储与访问的核心组件。它直接与数据块（Region）交互，执行数据的读写、分裂和合并等操作。为了理解其重要性，本章我们将探讨RegionServer的基本概念、架构设计以及其在...
HBase RegionServer性能监控：专家级优化，性能提升不止一倍
![HBase RegionServer性能监控：专家级优化，性能提升不止一倍]...其中，RegionServer作为HBase的核心组成部分，负责数据的读写和存储管理。对RegionServer进行性能监控和优化是确保HBase集群稳定运行的关键。本
java cpu利用率上不去_复盘：HRegionServer节点CPU持续飙高异常排查
weixin_39734020的博客
12-09 685
点击关注上方“知了小巷”，设为“置顶或星标”，第一时间送达干货。复盘：HRegionServer节点CPU持续飙高异常排查钉钉告警信息告警截图翻看CPU监控信息CPU从凌晨1点08分突然直线拉升，并持续维持在高位查找消耗CPU较高的进程HRegionServer进程号：9096$jps9069HRegionServertop命令查看CPU情况9069进程CPU已飙到753.1%，实际...
大数据私房菜面试题
weixin_41948645的博客
10-24 3393
一.Hadoop 1.hdfs写流程 2.hdfs读流程 3.hdfs的体系结构 4.一个datanode 宕机,怎么一个流程恢复 5.hadoop 的 namenode 宕机,怎么解决 6.namenode对元数据的管理 7.元数据的checkpoint 8.yarn资源调度流程 9.hadoop中combiner和partition的作用 10.用mapreduce怎么处理数据倾斜问题？ 11.shuffle 阶段,你怎么理解的 12.Mapreduce 的 map 数量 和 .
Hbase RegionServer简单调优(GC)
高矮
10-17 3015
Full GC会导致hbase假死，hbase读写数据延迟，严重导致hbase与zookeeper失联，导致hbase regionserver挂掉 解决： （1） 合理分配RegionServer的jvm内存，如果集群资源允许，可适当调大，这是最直接的 （2）适当调整RegionServer处理请求的并发线程数，根据实际情况通过降低线程并发，来降低GC的压力     （3）打散reg...
hbase 可视化工具_hbase优化之旅（二）regionserver的G1 GC优化探索
weixin_39616565的博客
11-29 416
优化的最终目的是保障用户体验的同时，减少机器，节约成本。为了更好的编写本文，花费20美金。欢迎赞赏支持。g1介绍g1特点g1原理见附录官方文档，本文假设读者对jvm gc和g1原理有基本的了解。g1特点是内存分片（一般1024片），支持动态调整young区大小，old区使用mixed gc方式分成多次小gc，尽量减少单次gc STW(stop the world)暂停时间，让gc对应用延迟的影响在...
HBase 常见问题总结（一）
Shockang的博客
11-13 1665
问题一：业务表出现大量空Region 问题二：业务 HBase 客户端 RPC 连接异常关闭 问题三：单台 RegionServer 的 I/O 使用率一直为100%，HBase 集群请求量为0
GeoServer生产环境调优(部分)
Baple的专栏
01-24 1万+
主要内容来自：地理学博士王晨亮整理 JVM调优 由于Geoserver是JavaEE项目，其性能直接受JVM参数影响，因此首先就需要对其进行JVM级别的优化。Geoserver部署在哪里，就设置哪里的JVM参数。 Java堆内存 Java堆内存是最基本的Java开发优化参数，无须解释。设置内存的数值需要恰当，既不能浪费剩余内存又不能抢占其他资源所必须的内存。
hbase的RegionServer内存占满导致频繁重启
lieying411
07-20 1680
hbase的RegionServer内存配置为16G，每次在运行统计任务的时候总会导致RegionServer自动重启。查看web界面发现，运行过程中RegionServer的内存使用率已经达到95%以上，从而导致regionServer长时间垃圾回收且回收不掉。通过spark的history查看任务失败阶段从而定位问题代码。 在代码中有个foreachPartition操作用来查找hbase表中该记录是否已存在。读取该分区下所有的主键，然后一次性查询hbase，导致RegionS...
如何排查CPU占用过高以及常见的几种情况
热门推荐
CoderPOPO的博客
05-16 3万+
在最近上线过程中遇到cpu占用率过高问题由于问题已解决,此时仅重现操作方法1.先用top命令,找到cpu占用最高的进程 PID  如上图2.再用ps -mp pid -o THREAD,tid,time   查询进程中,那个线程的cpu占用率高 记住TID3.jstack 29099 >> xxx.log   打印出该进程下线程日志4.sz xxx.log 将日志文件下载到本地5.将查...
top+jstack分析cpu过高原因
z69183787的专栏
08-03 1万+
1、用ps -ef | grep tomcat-v3 查出tomcat运行的进程id 2、用top -Hp pid 查询进程下所有线程的运行情况（shift+p 按cpu排序，shift+m 按内存排序） top -Hp 30316 3、找到cpu最高的pid，用printf ‘%x\n’ pid 转换为16进制 printf ‘%x\n’ 30506 4、用jstack 进程id ...
线上服务CPU100%问题快速定位
李暴龙的博客
09-26 649
转自：https://mp.weixin.qq.com/s/fU4i-jDVHgdJfRtWtXaxrQ题目 某服务器上部署了若干tomcat实例，即若干垂直切分的Java站点服务，以及若干Java微服务，突然收到运维的CPU异常告警。 问：如何定位是哪个服务进程导致CPU过载，哪个线程导致CPU过载，哪段代码导致CPU过载？步骤一、找到最耗CPU的进程 工具：top 方法： 执行top
全面解读HBase 1.2.3：高并发与实时处理
- 硬件配置优化，例如提高服务器内存和CPU处理能力，使用SSD作为存储介质，增加网络带宽等。 - 操作系统级别的调优，例如调整TCP参数，设置合适的文件描述符数量等。 - 应用层面的优化，例如设计合适的Row Key，合理...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值