爬虫遇到的问题

         爬虫程序一直报错：unknowhost或者是open too many files ，开始一直以为是域名解析有问题，对域名服务器请求次数太多导致的，想将dns信息缓存，但是不值得怎么利用这个域名映射到的ip。后来将每次请求的间隔时间调大了一些，不出现这个问题了。今天另一个程序又报同样的错误，但是间隔时间不能调大了，突然灵机一动，看了一些netstat命令看了一些网络连接状态，发现time_wait状态的连接很多，超过了linux的一个程序打开文件的最大限制：1024，为什么有这么多的time_wait状态的连接呢？看了http://www.jb51.net/article/37834.htm这篇文章后，发现是time_wait会持续2个MSL时间，msl即ttl的时间即ip包在网络上面存活的最大时间，windows上面默认是4分钟，linux上面据说默认是1分钟，安装该网页上面的配置将time_wait快速回收。

         完成了上述操作后，重新抓取，发送time_wait状态的连接减少了，但是close_wait状态的连接却增加了，还是会报open too many files，这种情况是服务器端主动关闭了socket连接，但是程序中在read time out的情况的时候没有关闭连接，所致。在程序中在http code不为200或者catch的代码块中添加关闭连接的代码，问题解决了。