记：zookeeper集群抖动造成solrcloud集群故障

一、故障描述

2020-04-18 23:10

solrcloud集群报警，大量节点线程数>10000，读写慢请求非常多，搜索业务接口大量超时。

二、紧急处理&故障追踪

紧急处理：

线程数居高不下，判断无法自愈，果断采取紧急节点重启方案，快速恢复服务。

故障追踪：

1、猜测是读写请求慢，导致线程池大量创建线程，第一步需要jstack栈数据分析

4000+线程节点jstack解析图

solr使用jetty线程池