【Streaming】为什么提交任务后，worker不断重启，任务部署总是不成功？

提问：提交某一任务拓扑后，在界面上看，任务一直部署不成功。或者看起来部署成功，有开始数据，但总数据量不断从0开始计数
分析 一般这种情况出现在某一拓扑中包含大量worker，且worker中包含大量并发线程数。
1． 在UI界面上，点击进入相应spout/bolt，观察其各个线程，发现线程的up时间不断从0开始
2． 在分配有work的节点环境中，使用JPS可以看到，worker进行不断重启
3． 打开某一相关worker（端口）日志文件，可以看到文件中有大量如下错误日志：
Waiting for pending batchs to be sent with Netty-Client-storm7/166.0.0.64:29103…, timeout 6000
b.s.util [ERROR] Async loop died!
java.lang.RuntimeException: java.lang.RuntimeException: Client is being closed, and does not take requests any more
at backtype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:90) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.utils.DisruptorQueue.consumeBatchWhenAvailable(DisruptorQueue.java:61) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.disruptor$consume_batch_when_available.invoke(disruptor.clj:62) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.disruptor$consume_loop_STAR_$fn__2975.invoke(disruptor.clj:74) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.util$async_loop$fn__444.invoke(util.clj:403) ~[storm-core-0.9.0.1.jar:na]
at clojure.lang.AFn.run(AFn.java:24) [clojure-1.4.0.jar:na]
at java.lang.Thread.run(Thread.java:662) [na:1.6.0_35]
Caused by: java.lang.RuntimeException: Client is being closed, and does not take requests any more
at backtype.storm.messaging.netty.Client.send(Client.java:109) ~[storm-netty-0.9.0.1.jar:na]
at backtype.storm.daemon.worker$mk_transfer_tuples_handler$fn__5867$fn__5868.invoke(worker.clj:304) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.daemon.worker$mk_transfer_tuples_handler$fn__5867.invoke(worker.clj:293) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.disruptor$clojure_handler$reify__2962.onEvent(disruptor.clj:43) ~[storm-core-0.9.0.1.jar:na]
at backtype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:87) ~[storm-core-0.9.0.1.jar:na]
... 6 common frames omitted
Halting process: (“Async loop died!”) 
4． 可见，由于worker1（client）与worker2(server)之间通过Netty进行通信，当netty通信连接在设置时间内无法建立，就会导致worker1的netty客户端被关闭，进而导致worker1进程kill掉，并被supervisor重起。尤其是当某拓扑中包含的worker较多，且worker中线程较多，worker进行启动时，需要耗费较长时间时，往往会由于netty连接超时而导致已启动的worker又被重启，导致整个拓扑无法正常部署
解决方法：加大worker间Nettey建立连接的超时总时间，保证在设定时间内，topo能够稳定部署成功
1． 增大storm.messaging.netty.max_retries设置，默认为30，可设置如60
2． 增加storm.messaging.netty.max_wait_ms设置，默认为1000，可设置如2000

可能的影响：如果是由于逻辑问题导致连接异常，会较晚（设定较长超时时间后）才会重启。