JAVA 使用org.apache.http.impl.client太久可能报UnknownHostException和open too many files错误

在最近的开发过程中，写了一个无线循环爬取某网页的内容程序。当程序跑了两天后，就回出现UnknownHostException错误，即使我把DNS绑定了  也会出现无法解析的错误。最后我发现有时候会连带着报错 open too many files 错误。

百度以后发现，在linux下 可以用lsof -p ID（进程） 查询某个进程打开的文件数，进程号可以用ps aux |grep xxx获取，这时会发现大量的无法识别的类型为sock的文件。（进程默认的最大打开文件数为1024），最后我推测可能是对于HttpClient 定义的client 当请求对方响应失败，句柄消失后，并不会被当做垃圾回收，而是被持续当做一个打开的文件。当积累到最大打开数量时，client无法在做TCP请求，所以会出现UnknownHostException, 同时也报了 open too many files 的错误。

这时，我的处理是使用org.apache.http.impl.client.CloseableHttpClient类  在每次使用完成后，关闭client，就同时解决了以上两个问题。