记一次Clickhouse服务不可用

问题描述：

集群没有做高可用，每个分片只有一个副本。查询时无法返回结果且并没有超时错误。

 

排查：

首先看下服务器负载。磁盘使用不到50%，内存使用不到20%，cpu空闲率超过80%，各项指标都正常。

第二步看下Clickhouse server日志。err log中先后出现两种错误信息：1.Connection Reset By Peer；2.Socket Write Buffer写入失败。

尝试在服务器启用Clickhouse client进行查询，发现：

上图可以看到查询一直停留在98%。

 

原因分析：

错误1产生有以下几个原因：

1）服务器的并发连接数超过了其承载量，服务器会将其中一些连接关闭；
如果知道实际连接服务器的并发客户数没有超过服务器的承载量，则有可能是中了病毒或者木马，引起网络流量异常。可以使用netstat -an查看网络连接情况。
2）客户关掉了浏览器，而服务器还在给客户端发送数据；
3）浏览器端按了Stop；
这两种情况一般不会影响服务器。但是如果对异常信息没有特别处理，有可能在服务器的日志文件中，重复出现该异常，造成服务器日志文件过大，影响服务