Nginx禁止某些User Agent抓取网站

最新推荐文章于 2024-03-18 13:37:27 发布
最新推荐文章于 2024-03-18 13:37:27 发布
阅读量861 收藏
点赞数 1
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43507959/article/details/106881315
版权
本文介绍了如何使用Nginx来禁止某些不受欢迎的User Agent抓取网站，以应对可能对服务器造成压力或恶意爬取的行为。通过在Nginx配置文件中添加规则，可以排除指定的User Agent头和空User-Agent头，有效保护服务器资源。文中还提供了常见垃圾UA列表，并展示了使用curl模拟不同User Agent抓取时的测试效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大家都知道网络上的爬虫非常多，爬虫有利也有弊，爬虫可以让我们的网站容易被其他人搜到，比如百度蜘蛛(Baiduspider)

问题是有些爬虫不遵循robots规则对服务器造成压力，或者是恶意爬取网页、采集数据。不好的爬虫会耗费大量的服务器资源

影响正常的用户使用。有些服务器是按流量计费，被爬虫耗费很多流量要交这些额外产生的费用，比如：七牛

Nginx反爬虫

在Nginx安装目录下的conf目录创建个spider目录，spider下新建个agent_deny.conf

cd /usr/local/nginx/conf         # 进入nginx配置文件目录
mkdir spider                     # 新建spider目录
cd spider                        # 进入spider目录
vim agent_deny.conf              # vim创建并编辑agent_deny.conf文件

agent_deny.conf配置如下


                

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    



                



	

		

			

				
					
禁止某些User Agent抓取网站

				
			

			

				

					Bertram的博客
				

				

					06-28
					
					763
					
				

			

		

		

			
				
我们都知道网络上的爬虫非常多，有对网站收录有益的，比如百度蜘蛛（Baiduspider），也有不但不遵守robots规则对服务器造成压力，还不能为网站带来流量的无用爬虫，比如宜搜蜘蛛（YisouSpider），于是整理收集了网络上各种禁止垃圾蜘蛛爬站的方法，来防止自己的网站不被其他人爬取呢？通过Nginx, 我们可以拦截大部分爬虫。那么再增加一个反爬虫配额文件
一、Apache
通过修改.htaccess文件
二、Nginx
进入到nginx安装目录下的conf目录，将如下代码保存为 agent_deny.

			
		

	



                

            
              



	

		

			

				
					
禁止特定 User Agent 的方法在 Nginx 服务器上

				
			

			

				

					OUDKE的博客
				

				

					09-20
					
					618
					
				

			

		

		

			
				
如果 User Agent 匹配了定义的正则表达式，则该变量的值为 1，否则为 0。如果你需要禁止多个 User Agent，建议使用其他更高效的方式，比如使用 Lua 脚本或者使用 Nginx 的第三方模块，如。现在，当有请求到达 Nginx 服务器时，它将检查请求中的 User Agent，并根据配置文件中定义的规则判断是否要拒绝该请求。的值为 1，表示匹配了被禁止的 User Agent，那么 Nginx 会返回 403 Forbidden 状态码，拒绝访问。在该块中，你需要添加一个新的。

			
		

	



              


  
              

                


	

		

			

				
					
分析nginx日志并屏蔽采集者ip（nginx屏蔽ip配置实例）

				
			

			

				

					09-30
				

			

		

		

			
				
主要介绍了分析nginx日志并屏蔽采集者ip（nginx屏蔽ip配置实例）,本文先是讲解了分析需要屏蔽日志的方法,然后讲解了Nginx中屏蔽IP的配置方法,需要的朋友可以参考下

			
		

	





	

		

			

				
					
nginx禁止指定user_agent

				
			

			

				

					weixin_33688840的博客
				

				

					05-31
					
					270
					
				

			

		

		

			
				
1、编辑配置文件vim /usr/local/nginx/conf/vhosts/test.conf2、添加以下字段if ($http_user_agent ~* 'curl|baidu|111111') # ~*表示不区分大小写匹配，如果只是~表示区分大小写    {     return 403;     }3、重新加载/usr/loca...

			
		

	



		

			
		



	

		

			

				
					
Nginx中配置过滤爬虫的User-Agent的简单方法

				
			

			

				

					09-30
				

			

		

		

			
				
主要介绍了Nginx中配置过滤爬虫的User-Agent的简单方法,文中罗列了一些常用搜索引擎的爬虫名称以免造成不必要的过滤,需要的朋友可以参考下

			
		

	





	

		

			

				
					
Nginx禁止文件下载防止服务器被恶意扫描

				
			

			

				

					软希网分享源码的博客
				

				

					11-03
					
					4836
					
				

			

		

		

			
				
Nginx禁止文件下载防止服务器被恶意扫描

			
		

	





	

		

			

				
					
网站服务器防扫描目录,服务器安全：添加Nginx规则防止服务器被恶意机器人扫描...

				
			

			

				

					weixin_31998661的博客
				

				

					08-04
					
					2796
					
				

			

		

		

			
				
自己购买服务器搭建网站就涉及到一个服务器安全问题，虽然你自己不知道，但是每天服务器都在被一些机器人扫描。本文奶爸给大家分享几个Nginx的规则可以防止服务器被扫描。1、禁止默认通过IP访问服务器每台服务器都有一个IP地址，而一些机器人会直接通过访问ip地址的方法来探测你网站上的内容。我们可以在Nginx的配置信息里面添加下面的代码来实现禁止通过IP地址访问服务器。#别人如果通过ip或者未知域名访问...

			
		

	





	

		

			

				
					
Nginx反爬虫策略，防止UA抓取网站

				
			

			

				

					01-09
				

			

		

		

			
				
#禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {  return 403; } #禁止指定UA及UA为空的访问 if ($http_user_agent ~ WinHttp|WebZIP|FetchURL|node-superagent|java/|FeedDemon|...

			
		

	





	

		

			

				
					
通过Nginx配置，禁止访问特定后缀的资源

				
			

			

				

					jinggangy的博客
				

				

					03-22
					
					4293
					
				

			

		

		

			
				
在一些安全扫描中，经常会遇到提示系统中存在bak备份文件或者压缩文件的安全漏洞，实际可能文件根本不存在，只是因为系统统一对不存在的资源定向到了一个提示资源不存在的页面，但是http状态码是200，导致安全扫描工具误报，这时候可以向安全测试人员说明情况，或者通过Nginx配置禁止对特定后缀资源的访问，这儿就介绍禁止访问的配置方式。

从网上搜索到的大部分都是如下这种千篇一律的配置


location ~ .*\.(rar|zip|gz|tar|7z|xz|bz2|bak)?$
{
    return 40

			
		

	





	

		

			

				
					
php 防止爬虫,服务器反爬虫攻略：Apache/Nginx/PHP禁止某些User Agent抓取网站

				
			

			

				

					yshir
				

				

					05-05
					
					1733
					
				

			

		

		

			
				
本文主要向大家介绍了PHP语言学习之php 防止设置，通过具体的内容向大家展示，希望对大家学习php语言有所帮助。php 防止爬虫设置例如：服务被疯狂。

			
		

	





	

		

			

				
					
Nginx配置防盗链的完整步骤

				
			

			

				

					09-29
				

			

		

		

			
				
主要给大家介绍了关于Nginx配置防盗链的完整步骤，文中通过示例代码介绍的非常详细，对大家学习或者使用Nginx具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧

			
		

	





	

		

			

				
					
利用nginx来屏蔽指定的user_agent的访问

					
热门推荐

				
			

			

				

					代码菜鸟旺仔
				

				

					02-23
					
					3万+
					
				

			

		

		

			
				
对于做国内站的我来说，我不希望国外蜘蛛来访问我的网站，特别是个别垃圾蜘蛛，它们访问特别频繁。这些垃圾流量多了之后，严重浪费服务器的带宽和资源。通过判断user agent，在nginx中禁用这些蜘蛛可以节省一些流量，也可以防止一些恶意的访问。

1、进入nginx的配置目录，例如cd
 /usr/local/nginx/conf

2、添加agent_deny.conf配置文件
 vi

			
		

	





	

		

			

				
					
服务器反爬虫攻略：nginx禁止某些User Agent抓取网站

				
			

			

				

					weixin_33827590的博客
				

				

					04-30
					
					471
					
				

			

		

		

			
				
2019独角兽企业重金招聘Python工程师标准>>>   
                                        
         ...

			
		

	





	

		

			

				
					
Nginx反爬虫UA及限制并发

				
			

			

				

					自由人生™
				

				

					09-29
					
					1104
					
				

			

		

		

			
				
处理请求头文件age...

			
		

	





	

		

			

				
					
Nginx防止网络爬虫的相关配置

				
			

			

				

					
				

				

					12-27
					
					871
					
				

			

		

		

			
				
通过Nginx参数:http_user_agent，将一些无用的爬虫禁止掉。
配置方法如下：
1、新建配置文件 deny.conf;
内容如下：
#禁止Scrapy|curl等工具的抓取

if ($http_user_agent ~* (Scrapy|Curl|HttpClient))

{

     return 403;

}

#禁止指定UA及UA为空的访问

if ($http_use...

			
		

	





	

		

			

				
					
【爬虫】User-Agent反爬虫

				
			

			

				

					xuxin132133的博客
				

				

					03-18
					
					1048
					
				

			

		

		

			
				
user-agent 反爬虫

			
		

	





	

		

			

				
					
Nginx反爬虫： 禁止某些User Agent抓取网站

				
			

			

				

					weixin_30301449的博客
				

				

					07-01
					
					660
					
				

			

		

		

			
				
问题
之前客户能够正常访问的一个网站这几天访问很慢，甚至有时候还拒绝访问。通过Nginx访问日志排查，发现有大量的请求指向同一个页面，而且访问的客户端IP地址在不断变化且没有太多规律，很难通过限制IP来拒绝访问。但请求的user-agent都带有Bytespider标记，这是一种流氓爬虫。访问日志如下图所示：


解决
解决思路：因为user-agent带有Bytespider爬虫标记...

			
		

	





	

		

			

				
					
html元素不让蜘蛛抓取,屏蔽网站后台禁止搜索引擎蜘蛛抓取的方法

				
			

			

				

					weixin_39721853的博客
				

				

					06-02
					
					1823
					
				

			

		

		

			
				
搜索引擎爬取网页内容的工具我们都称之为搜索引擎蜘蛛，如果希望屏蔽蜘蛛抓取某个页面到搜索引擎服务器中，可以通过robots.txt文件来限制蜘蛛抓取。很多朋友希望屏蔽网站后台禁止搜索引擎蜘蛛抓取，又不希望其他用户了解到网站后台地址，这时候能否通过robots.txt文件来限制呢？首先，我们来分析一下robots.txt文件的作用以及使用方法。搜索引擎蜘蛛来到站点准备抓取网页内容之前，会先访问该网站根...

			
		

	





	

		

			

				
					
nginx user-agent

					
最新发布

				
			

			

				

					01-11
				

			

		

		

			
				
### 配置或处理Nginx中的User-Agent

为了在Nginx中配置或处理`User-Agent`，可以利用内置变量 `$http_user_agent` 来获取客户端发送的 `User-Agent` 字符串。此字符串包含了浏览器类型、版本和其他可能的信息。

#### 使用Map模块自定义响应行为

通过使用 `map` 模块可以根据不同的 `User-Agent` 设置特定的行为：

```nginx
http {
    map $http_user_agent $is_mobile {
        default         0;
        "~*iPhone"      1;
        "~*Android"     1;
        "~*Windows Phone" 1;
    }

    server {
        listen       80;
        server_name  example.com;

        location / {
            if ($is_mobile) {
                rewrite ^/(.*)$ http://m.example.com/$1 permanent;
            }
            
            try_files $uri $uri/ =404;
        }
    }
}
```

这段代码会检测访问者的设备是否为移动设备，并将请求重定向到专门针对移动端优化过的子域名上[^1]。

#### 过滤恶意爬虫

有时也需要阻止某些不受欢迎的蜘蛛程序抓取网站内容，在这种情况下可以在配置文件里加入如下规则来拒绝指定名称的 `User-Agent` 请求：

```nginx
if ($http_user_agent ~* (curl|wget)) {
    return 403;
}
```

这将会返回HTTP状态码403给任何尝试用 curl 或 wget 访问服务器资源的人[^2]。

#### 日志记录增强

如果希望更细致地分析来自不同类型的用户的流量，则可以通过修改日志格式来包含 `User-Agent` 的信息：

```nginx
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent"';

access_log /var/log/nginx/access.log main;
```

上述设置会在每次请求的日志条目中增加一条关于用户代理的数据字段，便于后续统计和审计工作[^3]。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
SitVen

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值