scrapy遇到Couldn't bind: 24: Too many open files.错误的解决

现象为爬虫日志报出Couldn't bind: 24: Too many open files.错误，netstat -natep | grep 代理端口 或爬虫进程ID，有大量ESTABLISHED的连接。

Socket error 10024，具体错误信息就是Too many open files 。

由于爬虫使用了代理，每次请求切换一次代理IP，代理连接有时会发生异常，在爬虫高并发的情况下，会产生许多由于代理连接异常导致的半连接假死连接，这些连接系统在进行keepalive探测后会进行回收，但如果回收速度过慢的话，达到最大文件句柄数后所有request请求就无法建立连接，就会报出 Too many open files。

解决办法：

修改系统最大文件句柄数；

编辑sysctl.conf，添加或修改一下几个参数：

net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_intvl = 15
net.ipv4.tcp_keepalive_time = 120

net.ipv4.tcp_retries1 = 3
net.ipv4.tcp_retries2 = 15
net.ipv4.tcp_syn_retries = 6
net.ipv4.tcp_synack_retries = 5

保存退出并sysctl -p，使修改生效。

 

原创文章，转载请标明出处。

转载于:https://www.cnblogs.com/sammyzhang/p/10282520.html