storm版本:0.9.0.1
异常描述:拓扑运行一段时间后、个别机器的worker进程会出现time-out重启的情况,而该worker进程重启后,并不能正常工作、在spout不断出现fail、原因不明。将拓扑kill掉、重启该拓扑,则可以正常运转。
观察到出现worker time-out重启的情况,通常都出现在cpu load出现一个小峰值的时间点、如下图所示。
且worker重启,90%的情况都是出现在同一台机器上,因此错以为是该机器cpu负载相对较高,导致的worker无法正常更新心跳包导致的进程重启。
因此想通过延迟supervisor.worker.timeout.secs的超时时间,用以解决问题。例如设置为600s(默认30s)。
在topology中增加了一下配置,
config.put("supervisor.worker.timeout.secs", 600);
StormSubmitter.submitTopology(topoName, config, builder.createTopology());
设置了以上参数后、可以在该topology对应的storm ui看到该参数已经配置了,如下图所示: