loong1986的专栏

SEO反馈百度爬虫经常504，一般情况下是由nginx默认的fastcgi进程响应慢引起的，但也有其他情况，这里我总结了一些解决办法供大家参考。 方法/步骤一般50x状态码问题分析：Nginx 500 Internal Server Error 根据使用的情况来看 （1.文件句柄数限制 2.磁盘空间满 3.rewrite规则配置错误，php语法错误  4.如果配置文件里有些变量设置不当 5.并发数...

蜘蛛抓取量骤增，导致服务器负载很高。最终用nginx的ngx_http_limit_req_module模块限制了百度蜘蛛的抓取频率。每分钟允许百度蜘蛛抓取200次，多余的抓取请求返回503。nginx的配置：#全局配置limit_req_zone $anti_spider zone=anti_spider:60m rate=200r/m;#某个server中limit_req zone=an...