记录一次线上，ss服务出现大面积不能响应请求：java.io.IOException: Broken pipe

5月26日 ，晚上 ，我讲新增的功能部署上线后，运行两天,接口服务就响应不了，错误特征：

1.日志信息：

exec-147] com.xpx.middle.web.VproductSearchController - Òì³£ÐÅÏ¢£ºjava.io.IOException: Broken pipeÒì³£¶ÑÕ»£ºorg.apache.catalina.connector.OutputBuffer.realWriteBytes(OutputBuffer.java:393)  org.apache.tomcat.util.buf.ByteChunk.flushBuffer(ByteChunk.java:426)  org.apache.catalina.connector.OutputBuffer.doFlush(OutputBuffer.java:342)  org.apache.catalina.connector.OutputBuffer.flush(OutputBuffer.java:317)  org.apache.catalina.connector.CoyoteOutputStream.flush(CoyoteOutputStream.java:110)  com.fasterxml.jackson.core.json.UTF8JsonGenerator.flush(UTF8JsonGenerator.java:1020) 

没有其他业务错误信息。

2. 新的请求全部不能响应。

解决办法：

1. 查看cpu  内存，tcp连接数 都不多，mysql的sql也正常。

2.查看jstack -l pid 也没有很特别的信息。

最终在接口打印节点日志，计算几个关键步骤的执行，耗时情况，发现端倪。

总结：这里想说的是 接口超时 会导致整个服务不可用，做好接口依赖的服务的错误处理很关键：

failfast：快速发现错误

failover：失败切换。

最终：更改服务读取超时时间，让服务提供方优化