客户网站访问慢分析和排查过程

本文分享了一次解决网站加载缓慢的问题经历。通过对服务器负载、数据库状态及访问日志的检查,发现大量爬虫请求是造成资源消耗的主要原因。文章提供了两种解决方案:一是直接屏蔽爬虫,二是利用Nginx实现对爬虫请求的缓存处理。

近日本人维护的一个客户网站打开非常慢,于是便按照以往的排查步骤进行排查

1,登录服务器top命令查看负载IO情况发现负载有点高并有很多php进程占了很大的资源

2,进入mysql服务器查看数据库线程,并没有发现锁表情况。

3,打开web访问日志发现有很多百度爬虫访问。导致点了很多php资源

解决方案:

    1,禁用爬虫(不利于SEO)

       在nginx配置文件中加入

       if ( $http_user_agent ~ Baiduspider ){return 503;}
       if ( $http_user_agent ~ EtaoSpider ){return 503;}
       if ( $http_user_agent ~  Googlebot ){return 503;}
       if ( $http_user_agent ~ " bingbot" ){return 503;}

       据说返回503是跟据seo考虑的

    2,通过nginx判断是否是百度爬虫如果是就访问缓存


爱慕尔商城
服装搭配
城市物语  
穿衣搭配博客

服装搭配博客






    本文转自yuangang_love 51CTO博客,原文链接:http://blog.51cto.com/linux008/1554678,如需转载请自行联系原作者


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值