storm 拓扑worker time-out重启问题排查

storm版本:0.9.0.1
异常描述:拓扑运行一段时间后、个别机器的worker进程会出现time-out重启的情况,而该worker进程重启后,并不能正常工作、在spout不断出现fail、原因不明。将拓扑kill掉、重启该拓扑,则可以正常运转。

观察到出现worker time-out重启的情况,通常都出现在cpu load出现一个小峰值的时间点、如下图所示。
这里写图片描述
且worker重启,90%的情况都是出现在同一台机器上,因此错以为是该机器cpu负载相对较高,导致的worker无法正常更新心跳包导致的进程重启。

因此想通过延迟supervisor.worker.timeout.secs的超时时间,用以解决问题。例如设置为600s(默认30s)。
在topology中增加了一下配置,

 config.put("supervisor.worker.timeout.secs", 600);
 StormSubmitter.submitTopology(topoName, config, builder.createTopology());

设置了以上参数后、可以在该topology对应的storm ui看到该参数已经配置了,如下图所示:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值