nginx设置只允许蜘蛛访问其他访问为404或者301跳转

最新推荐文章于 2024-03-17 15:48:09 发布
原创 最新推荐文章于 2024-03-17 15:48:09 发布 · 2.2k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#nginx #php #百度

本文介绍了如何通过Nginx配置，使得只有百度和360搜索引擎的蜘蛛能够正常访问，其他所有IP或蜘蛛访问将收到404或301跳转至hao123.com。实测效果为普通浏览器访问返回404，而百度蜘蛛访问保持200状态。

nginx设置只允许蜘蛛访问其他访问为404或者301跳转

ngxinx设置只允许百度360蜘蛛访问，其他任何IP或者蜘蛛访问为404状态在这里插入图片描述

if ($http_user_agent !~* "Baidu|Yisou|Sogou|Google|360")
{
   
   
return 404;
最低0.47元/天 解锁文章
Linux系统Nginx对网站搜索引擎蜘蛛301重定向跳转到新域名代码
点滴分享博客
07-26 877
stocky@s1~]$curl-I-ABaiduspiderwww.域名。access_log/home/wwwlogs/www.域名.logaccess;[stocky@s1~]$curl-I-AMozillawww.域名。[stocky@s1~]$curl-I-Agooglewww.域名。#如果用户不是百度蜘蛛且访问的网址不是baidu.*\.html格式。root/home/wwwroot/域名/www;Locationhttp//www.域名/...
js如何判断访问是来自搜索引擎(蜘蛛人)还是直接访问
11-24
以下javascript脚本代码可以实现判断访问是否来自搜索引擎。 代码如下： [removed] if(window.name != 'ad_app6'){ var r = document.referrer; r = r.toLowerCase(); //转为小写 var aSites = new Array('google.','baidu.','sm.','soso.','so.','360.','yahoo.','youdao.','sogou.','gougou.'); var b = false; for (i in aSites){
网站屏蔽所有人访问，只允许蜘蛛访问
woaisjm的专栏
11-22 1785
屏蔽所有人访问，只允许蜘蛛访问 if （$http_user_agent !~* "Baidu|Yisou|Sogou|360|Byte|bing|Soso|Yahoo|Google"） { return 404; } 解释：$http_user_agent 简称UA， ~*为任意包含，不区分大小写，如果是不包含，则为：！~* 这句话的意思就是如果UA里不包含baidu, 神马，搜狗，谷歌字符的话，则返回404，编辑404.html页面，则显示你想要的内容，比如广告。 if （$http_user.
用php实现让页面只能被百度gogole蜘蛛访问的方法
12-18
普通用户与搜索引擎蜘蛛爬行的区别在于发送的user agent，看网站日志文件能发现百度蜘蛛名字包含Baiduspider, 而google的则是Googlebot, 这样我们可以通过判断发送的user agent来决定要不要取消普通用户的访问，编写函数如下: 复制代码 代码如下: function isAllowAccess($directForbidden = FALSE) { $allowed = array(‘/baiduspider/i’, ‘/googlebot/i’); $user_agent = $_SERVER[‘HTTP_USER_AGENT’]; $valid = FAL
判断是否是蜘蛛访问-人访问跳转
学习博客 记录技术文档及心得体会
03-17 865
【代码】判断是否是蜘蛛访问-人访问跳转。
使用php让页面只能被百度gogole蜘蛛访问
weixin_34126215的博客
12-28 296
普通用户与搜索引擎蜘蛛爬行的区别在于发送的user agent， 看网站日志文件能发现百度蜘蛛名字包含Baiduspider, 而google的则是Googlebot, 这样我们可以通过判断发送的user agent来决定要不要取消普通用户的访问，编写函数如下: functionisAllowAccess($directForbidden=FALSE){ $allowe...
vue前后端分离项目 前端使用的nginx部署，后端接口使用的nginx反向代理，如何才能让搜索引擎抓取到页面，详细步骤和教程...
weixin_42577243的博客
01-23 255
Vue前后端分离项目中，前端使用 Nginx 部署，后端接口使用 Nginx 反向代理时，要让搜索引擎抓取到页面，需要进行以下步骤： 配置 Nginx：在 Nginx 配置文件中配置前端页面的路径，使得搜索引擎可以访问到页面。 实现前后端路由同构：前端路由和后端路由要能匹配上，这样搜索引擎才能抓取到页面。 使用 prerender 或者 SSR：使用 prerender 或者 SSR 技术，...
Nginx屏蔽电脑端访问,但不限制蜘蛛爬取
欢迎来到瑆箫博客，专为程序员和编程爱好者打造的技术博客。我们分享编程语言趋势、开发工具、编程哲学、职业发展等，助你掌握新技术，优化技能，激发编程热情。
11-21 776
在上面的代码中，我们使用 if 指令来检查用户dai理是否包含 PC、Windows 或 Macintosh 等关键词，如果是，则返回 403 禁止访问的错误页面。然后，我们使用 set 指令定义了一个名为 $spider_user_agent 的变量，该变量包含一个蜘蛛的用户dai理字符串。如果是，则执行相应的代码块，例如添加重定向或dai理设置等。更好的方法是使用 Nginx 的 map 模块或其他更高级的配置选项来实现更精细的用户dai理控制。
在 Nginx 宝塔环境中，需设置禁止直接通过浏览器访问网站同时返回无法访问此网站响应时间超长，但允许百度移动端搜索结果跳转以及百度蜘蛛抓取页面
07-12
我们有一个需求：在Nginx宝塔环境中配置访问控制，禁止直接通过浏览器访问网站并返回超时响应（模拟连接拒绝），但允许百度移动端跳转和百度蜘蛛抓取。 分析： 1. 我们需要区分普通浏览器访问和百度蜘蛛（包括...
nginx每十次蜘蛛跳转一次 案例代码
05-27
为了记住蜘蛛跳转的次数，我们使用了一个名为`spider_count`的cookie，每次蜘蛛请求时都会检查该cookie的值，如果达到10次则进行重定向，并将该cookie的值重置为0。 请注意，这个配置文件只是一个示例，实际情况...
判断网站来源为蜘蛛就跳转，用户不跳转
最新发布
08-29
- 引用[1]：Nginx 设置，只允许指定的蜘蛛（如 Baidu、Google 等）访问，其他访问返回 302 跳转到另一个网站（如百度）。条件是如果 User Agent 不匹配指定蜘蛛，则跳转。 - 引用[2]：PHP 代码，判断 HTTP_REFERER ...
网站怎么屏蔽指定搜索引擎访蜘蛛的访问
龙影的博客
08-07 1018
网站屏蔽或允许指定搜索引擎访蜘蛛的访问,robots.txt 禁止、允许、指定蜘蛛访问的配置 1.禁止所有搜索引擎访问 User-agent: * Disallow: / 2.允许所有搜索引擎访问 User-agent:* Allow:/ 3.禁止部分蜘蛛访问,允许部分蜘蛛访问 #屏蔽蜘蛛 User-agent: MJ12bot #禁止抓取所有目录 Disallow: / #允许所有蜘蛛访问 * 或者指定 Baiduspider User-agent: * #禁止抓.
Apache基本vhost虚拟主机配置以及特定IP访问权限的控制
weixin_33937778的博客
11-12 991
一.环境: centos6.7 x86_64 位最小化安装 [root@cacti conf.d]# cat /etc/redhat-release CentOS release 6.7 (Final) [root@cacti conf.d]# uname -a Linux cacti 2.6.32-573.el6.x86_64 #1 SMP Thu...
爬PHP网站文件,蜘蛛来访爬取链接详情导出TXT文件（php脚本）
weixin_30261255的博客
03-11 382
蜘蛛来访爬取链接详情导出TXT文件(php脚本)偶然间看到群友发的，试了下还挺好用。该PHP脚本可以实现判断蜘蛛来访访问的链接等和显示蜘蛛IP等等挺好玩的。不喜勿喷。PHP脚本代码如下：$useragent = addslashes(strtolower($_SERVER['HTTP_USER_AGENT']));if (strpos($useragent, 'msn')!== false){$b...
Nginx限制指定设备访问目录
u010227042的博客
11-19 1182
一、需求只允许指定终端华为手机访问目录，其它终端访问返回403 二、访问日志中找查相关http_user_agent 信息中的关健字： 点击(此处) 108.88.3.134 - - [26/Apr/2018:11:26:05 +0800] "GET /123/ HTTP/1.1" 304 0 "-" "Mozilla/5.0(Linux;Android 6.0;HUAWEI VN...
php蜘蛛正常抓取，用户跳转指定页面
lx6314415的专栏
03-17 2493
有些时候我们展现的内容是供搜索引擎用了，很多用户是不必看到的，所以下面分享该PHP代码，蜘蛛正常抓取，用户访问调转指定页面代码 　　$v = false; 　　$tmp = $_SERVER['HTTP_USER_AGENT']; 　　if(strpos($tmp, 'Googlebot') !== false){ 　　$v = true; 　　} else if(strpos($tmp
网站如何通过配置 robots.txt 来禁止以及允许搜索引擎的搜索
m0_58845369的博客
07-05 1075
1.禁止所有搜索引擎访问所有目录 2.允许所有搜索引擎访问所有目录
搜索引擎蜘蛛抓取UA不跳转网站代码，正常访问跳转代码
woaisjm的专栏
04-13 1704
怎么让百度搜索引擎蜘蛛抓取本站页面，让用户访问的页面是产品或者是商品咨询页面，让转换率更加好 <?php $flag = false; $tmp = $_SERVER['HTTP_USER_AGENT']; if(strpos($tmp, 'Googlebot') !== false){ $flag = true; } else if(strpos($tmp, 'Baiduspider') >0){ $flag = true; } else if(strpos($tmp, 'Yahoo! Sl.
ngnix 电脑手机网站互相跳转,并识别蜘蛛不跳转
qq_36677358的博客
04-27 1084
电脑版ngnix配置 #设置变量 set $mu ''; #判断是否是手机,如果是手机,则赋值mu为m if ( $http_user_agent ~ "^((.*UCWEB.*)|(.*WAP.*)|(.*Mini.*)|(.*iPhone.*)|(.*Android.*)|(.*mobile.*)|(java.*)|(.*BlackBerry.*))$" ){ set $mu m; } # 判断是否是蜘蛛,如果是蜘蛛,则在mu后添加u if ($http_user_agent ~*
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值