防止屏蔽网络蛛蛛网络爬虫配置

最新推荐文章于 2023-09-21 16:52:56 发布
原创 最新推荐文章于 2023-09-21 16:52:56 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种针对新建网站的爬虫屏蔽方法，通过Nginx配置文件中的location指令来拒绝特定User-Agent的访问请求，以此达到节省资源和保护网站安全的目的。

新建立的网站，未必需要流量，各个方面还在优化，也为了节省资源和网站安全，需要屏蔽一些东西的

location / {
                       if ($http_user_agent ~* "robot|qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") {  
                return 403;  
        }  
                   }



测试 ...



curl -I -A "qihoobot" www.xxx.com

使用 CloudFlare 后如何才能不影响搜索引擎蜘蛛爬虫
草根博客站长明月登楼的优快云博客
05-12 528
至此，你的 CloudFlare 已经对所有合法的搜索引擎爬虫完全开放了，还具备了对恶意、垃圾爬虫的自动拦截屏蔽。并且还可以根据自己站点的实际需求，灵活的向爬虫、UA、IP 区域等等设定开放条件。总之，CloudFlare 强大的就是其自由灵活的按需配置，唯一的瑕疵就是免费版的 CloudFlare 只能设置 5 条 WAF 规则，不过，对于一般的站点来说是绰绰有余完全够用了，至少明月现在也就是用了不到 3 条而已。
nginx防护规则，拦截非法字符，防止SQL注入、防XSS，nginx过滤url访问，屏蔽垃圾蜘蛛，WordPress安全代码篇
云博客_资源宝分享
02-18 4027
nginx防护规则，拦截非法字符，防止SQL注入、防XSS，nginx过滤url访问，屏蔽垃圾蜘蛛，WordPress安全代码篇
使用nginx过滤网络爬虫
优快云_MrWang的博客
05-15 327
其实Nginx可以非常容易地根据User-Agent过滤请求，我们只需要在需要URL入口位置通过一个简单的正则表达式就可以过滤不符合要求的爬虫请求： ... location / { if ($http_user_agent ~* "python|curl|java|wget|httpclient|okhttp") { return 503; ...
如何屏蔽SemrushBot、AhrefsBot、Adsbot等不需要的蜘蛛
IT羊的博客
04-01 3935
最近一台阿里云1U2G的主机cpu一直跑满，网站打开非常慢。查看了下网站的统计，一天大概也就600IP左右，这种不至于把服务器拖死啊，由于以前基本做的是企业站，没遇到这种问题，一直还以为是不是服务器被安装了挖矿脚本，于是下载网站日志一看，除了正常的百度，360，google等蜘蛛的访问记录，大量的国外一些垃圾蜘蛛的抓起把服务器拖死了，总是找到罪魁祸首了，于是百度找处理方式，总结来说就是两种，一种是通过robots.txt处理，但是这个需要蜘蛛遵守robots协议，据说有的垃圾蜘蛛不遵守robots协议，所以
屏蔽无用蜘蛛
cxylove30的博客
11-04 899
User-agent: * Disallow: /?* Disallow: /#* User-agent: YisouSpider Disallow: / User-agent: EtaoSpider Disallow: / User-agent: EasouSpider Disallow: / User-agent: YoudaoBot Disallow: / User-agent: Yodao...
屏蔽不需要的蜘蛛节省服务器资源
php小松
07-27 4237
最近我一直在实时观察日志，发现了很多国外的蜘蛛在抓取我的网站，这些搜索引擎不会带来流量，而且浪费我的服务器的资源，于是决定屏蔽 屏蔽的蜘蛛 AhrefsBot 通过抓取网页建立索引库,并提供反向链接分析和服务 dotbot 在线营销分析软件 MJ12bot 英国搜索引擎 Deusu 个人的项目一个搜索引擎 grapeshot 这家公司好像也是分析网站用的 屏蔽方式 在robots.txt目录下添加
屏蔽国外垃圾无用蜘蛛，防止大量抓取导致网站崩溃浪费带宽
come521的专栏
09-21 4189
Sogou web spider是搜狗搜索的网页爬虫，其UA标识为“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”。从名字上看，神马搜索的发音类似于宜搜，但和专注小说搜索的“宜搜(http://easou.com/)”不是同一家公司。主要是将从网站日志中发现的一些异常抓取的蜘蛛屏蔽掉，我上面列举的是一些常见的对我们网站没啥用处的蜘蛛，将这些蜘蛛屏蔽掉就好了。
Nginx服务器屏蔽与禁止屏蔽网络爬虫的方法
09-29
例如，以下配置会允许Baidu蜘蛛、Googlebot等搜索引擎爬虫，而禁止其他未明确允许的爬虫： ```nginx server { listen 80; server_name www.xxx.com; if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|...
Python网络爬虫实战训练
08-10
网络爬虫，又称为网络蜘蛛、网络机器人，是一种自动获取网页内容的程序，通常用于搜索引擎网站索引网页、数据采集与数据挖掘等。Python由于其简洁的语法和强大的库支持，成为开发网络爬虫的热门语言之一。本实战训练...
服务器配置，不要被爬虫
最新发布
03-13
嗯，用户想了解如何配置服务器以防止爬虫攻击。首先，我需要回忆一下之前学过的相关知识。...- **更新规则库**：根据最新爬虫特征（如百度蜘蛛`Baiduspider`或头条爬虫`Bytespider`）动态调整屏蔽规则[^1]。 ---
Nginx 反爬虫
小枫的优快云博客
04-26 994
今日头条蜘蛛疯狂抓取导致cpu爆满，这个蜘蛛真是太残忍了，抓取的频率太高了，而在今日头条内会屏蔽网站内的所有广告，所以这种抓取没什么用，都形成CC攻击了。 最近网站访问明显慢了很多，阿里云一整就给我网站拉进小黑屋，看了网站监控发现都是今日头条抓取，本来我没想管，但是抓取频率超过了基础防火墙而且CPU爆满 禁止了立马好了。 我的服务器是4H4G20M带宽，本来也就一千多人访问，通过监控软件查看居然达到了六万。太疯狂了 nginx在站点的设置，配置文件中 server{ } 中添加 #禁止爬虫工具的抓取 .
宝塔 根据访问协议头屏蔽爬虫
xingnang2008的专栏
06-22 2995
在站点的设置，配置文件中 server{ } 中添加 #禁止爬虫工具的抓取 if ($http_user_agent ~* "Bytespider|FISPIDER|YisouSpider") { return 403; } ``` 配置完不用重启nginx就能生效! ...
屏蔽不讲robots规则的国外垃圾蜘蛛
程序员
06-27 1796
我们经常会在网站日志中看到一些莫名其妙的国外蜘蛛，疯狂的爬取您的网站，设置robots.txt文件都没有任何用，果断把这些没有用大垃圾知识屏蔽啦。
屏蔽百度蜘蛛或某一爬虫的四种方法
qq_34403283的博客
03-13 3507
今天打开自己的网站发现很卡，但是检查网站的访问量并不高，登陆服务器发现流量很高，于是查看访问日志，发现网站日志中开头的某一ip段大量频繁访问，来自一个叫Bytespider的爬虫，就在网上查找方法想屏蔽它。这是屏蔽所有蜘蛛爬虫抓取该页面的写法，如果只屏蔽某个爬虫，可以把"robots"改为特定的爬虫名称，爬虫名称可以通过上面方法1中提及的办法获得。我们还可以通过分析日志，获得爬虫的IP地址，然后从服务器防火墙屏蔽该IP，不过爬虫通常有很多IP，我们可以屏蔽爬虫的IP段。4、通过IP屏蔽百度或某一爬虫抓取。
Nginx防蜘蛛爬虫处理
热门推荐
上善若水，水善利万物而不争。
09-20 2万+
一个网站，它可能不想被网络爬虫抓取，例如测试环境不希望被抓取，以免对用户造成误导，那么需要在该网站中申明，本站不希望被抓取。有如下方法：方法一：修改nginx.conf，禁止网络爬虫的ua，返回403。server { listen 80; server_name www.ready.com; #添加如下内容即可防止爬虫if ($http_user_agent ~* "qihoobot|Baidu
禁止百度蜘蛛爬取服务器
残月9217
03-29 4131
问题描述： 由于百度蜘蛛的大量抓取，导致服务器性能下降，最后宕机；而它抓取的还是一些不重要的业务 解决办法： 从入口文件中禁止，如果是百度的抓取就让它直接返回，不让它进入程序中消耗服务器资源 主要用到的得到user-agent百度的为“Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spi
如何防止网站被爬虫爬取的几种办法
weixin_34121282的博客
09-26 2618
今天想对一个问题进行分析和讨论，就是关于爬虫对网站页面爬取的问题，有些网站通过爬虫去采集其它的网站页面信息作为己用，大量的爬取行为会对web服务器有比较性能有影响，主要的表现就是会变得很慢。对于如何防止网站被爬取，我想从以下几种方法去分析：1.基于程序本身去防止爬取：作为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，可以用jquery去模仿写html，这种方法伪装的页面就很...
【转载】打算屏蔽百度蜘蛛,可以尝试以下方法
12-12 451
好像现在屏蔽baiduspider已经成为一种时尚，难道这玩意也跟着纳斯达克变? 　　首先我自己不会屏蔽baiduspider，也不大相信baiduspider会故意忽略robots.txt，但如果你真的想屏蔽 baiduspider，可尝试以下方法： 　　1. 上传一个robots.txt到根目录，内容为： 　　User-agent: baiduspider 　　Disallow: /
Apache 屏蔽YisouSpider(一搜蜘蛛\神马)的方法
wykun0808的专栏
06-12 3846
网站的robot已经拒绝了YisouSpider，访问记录还有大量的YisouSpider 访问记录，导致网站反应变慢甚至宕机 方法一：通过Deny from IP 的方法，拒绝指定IP的访问：例如： Deny from 192.168.1.2 Deny from 192.168.1.3方法二：通过 RewriteCond  和 RewriteRule 组合 RewriteEngine On
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值