robots 、http referer

最新推荐文章于 2022-03-30 15:18:51 发布
转载 最新推荐文章于 2022-03-30 15:18:51 发布 · 97 阅读 · 0

本文介绍了robots文件的作用，即允许搜索引擎如百度、Google等进行抓取。同时解释了HTTPReferer作为header的一部分，在浏览器向服务器发送请求时携带的信息，用于告知服务器请求来源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

引用：http://tech.huanqiu.com/internet/2012-08/3080369.html

robots文件允许了百度、Google、搜狗、搜搜等搜索抓取

HTTP Referer是header的一部分，当浏览器向网站服务器发送请求的时候，一般会带上Referer（访问来源），告诉服务器是从哪个页面链接过来，服务器籍此可获得信息用于处理

爬虫中遇到的问题Crawled (404)，[scrapy.spidermiddlewares.offsite] DEBUG: Filtered offsite request to
xiaobai_IT_learn的博客
09-19 4270
1.错误1：start_url不存在 Crawled (200) <GET http://www.itcast.cn/robots.txt> (referer: None) DEBUG: Crawled (404) <GET http://www.itcast.cn/channel/teacher.shtml/> (referer: None) 解决：复制url的完全地址 ...
Scrapy 爬虫请求无反应之 Forbidden by robots.txt
wefinancedream的博客
06-08 1243
Scrapy 爬虫请求无反应之 Forbidden by robots.txt 先上菜,关闭Scrapy 自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可完美解决. # Obey robots.txt rules ROBOTSTXT_OBEY = False 情景: 在爬取苏宁图书时,获取翻页数据调用无反应,于是打开日志文件发现此现象: 2019-06-...
Scrapy Crawled (200) ＜GET http://www.baidu.com/＞ (referer: None)错误及解决办法
weixin_55109596的博客
03-30 6262
如下图所示，此错误是建立在scrapy框架建立起来的情况下，如图所示，图片左侧是scrapy框架项目结构，出现标题的错误，首先点击如图所示的settings.py文件,找到第40行,如图所示我已经框出来了,这两行刚打开文件时注释的，把这两行注释解开，并且添加"user-agent"字段,这个字段可以在浏览器里面获取，详细就不介绍了，可以自行百度，然后再次运行项目，就可以发现获取到网络的源码了. ...
爬虫出现Forbidden by robots.txt
菜鸡瞎讲
06-10 3万+
先说结论，关闭scrapy自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可解决。 使用scrapy爬取淘宝页面的时候，在提交http请求时出现debug信息Forbidden by robots.txt，看来是请求被拒绝了。开始因为是淘宝页面有什么保密机制，防止爬虫来抓取页面，于是在spider中填入各种header信息，伪装成浏览器，结果还是不行。。。用
隐藏referer实现定向跳转的HTML代码
在IT行业中，特别是在网页开发和后端处理中，理解如何控制和管理HTTP Referer头是非常关键的一部分知识。"referer.txt"文件描述了如何通过HTML和PHP代码实现一个特定的页面跳转机制，同时阻止目标页面接收到来源页面...
爬虫器(golang), 模拟浏览器特征保存cookie，referer，以达到爬虫的目的.zip
03-23
遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施...
如何设置 X-Robots-Tag 或 X-Frame-Options 等元标签来判断请求的不同来源？
08-22
要根据请求的不同来源设置这些标签，你需要检查HTTP请求头中的`Referer`字段，它包含了用户的来源网址。通常服务器端脚本（如Node.js、PHP或ASP.NET）可以根据这个信息动态生成相应的元标签。如果发现请求不是期望的...
location ^~ /file-api/ { proxy_pass http://file-api/; include /apps/openresty/nginx/conf/vhosts/common-x-form.conf; include /apps/openresty/nginx/conf/vhosts/common-proxy.conf; } location ~ ^/file/((?:sm9pS0sF6oK|24Gy8U0OlRbQ)/.*) { set $sign_path $1; valid_referers test-wb.gboss.tech test-console.gmarketing.tech test-sw.ceboss.cn ; if ($invalid_referer) { add_header X-Debug-Reason "Forbidden Referer" always; return 403; } secure_link $arg_sign,$arg_t; secure_link_md5 "$arg_t$sign_path q8xyMiuJJAomkrk"; if ($secure_link = "") { add_header X-Debug-Reason "Signature Required or Invalid" always; return 403; } if ($secure_link = "0") { add_header X-Debug-Reason "Link Expired" always; return 410; } rewrite ^/file/(.*)$ /$1 break; root /data/share/files; include /apps/openresty/nginx/conf/vhosts/file-from.conf; } location /file/ { rewrite ^/file/(.*)$ /$1 break; root /data/share/files; include /apps/openresty/nginx/conf/vhosts/file-from.conf; } location /robots.txt { alias /data/vue/robots/robots.txt; add_header Content-Type text/plain; } ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ location ^~ /file-api/ { proxy_pass http://file-api/; include /apps/openresty/nginx/conf/vhosts/common-x-form.conf; include /apps/openresty/nginx/conf/vhosts/common-proxy.conf; } location ~ ^/file/((?:sm9pS0sF6oK|24Gy8U0OlRbQ)/.*) { set $sign_path $1; valid_referers test-wb.gboss.tech test-console.gmarketing.tech test-sw.ceboss.cn ; if ($invalid_referer) { add_header X-Debug-Reason "Forbidden Referer" always; return 403; } secure_link $arg_sign,$arg_t; secure_link_md5 "$arg_t$sign_path q8xyMiuJJAomkrk"; if ($secure_link = "") { add_header X-Debug-Reason "Signature Required or Invalid" always; return 403; } if ($secure_link = "0") { add_header X-Debug-Reason "Link Expired" always; return 410; } rewrite ^/file/(.*)$ /$1 break; root /data/share/files; include /apps/openresty/nginx/conf/vhosts/file-from.conf; } location /file/ { rewrite ^/file/(.*)$ /$1 break; root /data/share/files; include /apps/openresty/nginx/conf/vhosts/file-from.conf; } location /robots.txt { alias /data/vue/robots/robots.txt; add_header Content-Type text/plain; } ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 对比两个nginx配置，有何区别，为什么第一个配置可以正常使用。
最新发布
06-21
}}```引用[3]中的配置（量子加密）：```nginxload_modulemodules/ngx_http_quantum_encryption_module.so;http{...quantum_encryptionon;quantum_key_exchange_protocol"BB84";quantum_certificate/etc/nginx/certs/...
验证HTTP Referer字段
紫天专栏
06-25 1万+
1 、CSRF攻击原理 CSRF攻击原理比较简单，如图1所示。其中Web A为存在CSRF漏洞的网站，Web B为攻击者构建的恶意网站，User C为Web A网站的合法用户。   1. 用户C打开浏览器，访问受信任网站A，输入用户名和密码请求登录网站A； 2.在用户信息通过验证后，网站A产生Cookie信息并返回给浏览器，此时用户登录网站A成功，可以正常发送请求到网站A； 3. 用户未
跨站请求伪造CSRF防护方法
jijithin
08-22 954
CSRF(Cross-site request forgery跨站请求伪造，也被称成为“one click attack”或者session riding，通常缩写为CSRF或者XSRF，是一种对网站的恶意利用。 一、CSRF攻击原理 CSRF攻击原理比较简单，如图1所示。其中Web A为存在CSRF漏洞的网站，Web B为攻击者构建的恶意网站，User C为Web A网站的合法用户。 ...
使用scrapy做爬虫遇到的一些坑：爬虫使用scrapy爬取网页返回403错误大全以及解决方案
热门推荐
weixin_41931602的博客
05-04 3万+
今天学习scrapy爬取网络时遇到的一些坑的可能 正常情况：DEBUG: Crawled (200) &lt;GET http://www.techbrood.com/&gt; (referer: None) 错误情况：DEBUG: Crawled (403) &lt;GET http://www.techbrood.com/&gt; (referer: None) 一，网址的错误 一开始...
Python爬虫系列之----Scrapy(八)爬取豆瓣读书某个tag下的所有书籍并保存到Mysql数据库中去
fendo
04-16 1万+
一、创建项目 scrapy startproject books 二、编写Item 在items.py中编写我们需要的数据模型: import scrapy class BooksItem(scrapy.Item): book_name = scrapy.Field() book_star = scrapy.Field
Scrapy遇到的坑
fengzheku的专栏
12-29 9285
1、出现了403的错误，如下所示： DEBUG: Crawled (403) https://movie.douban.com/subject_search?search_text=28%E5%B2%81%E6%9C%AA%E6%88%90%E5%B9%B4> (referer: None) 原因是代理被禁止访问，解决方法： 在settings配置文件里修改不设置代理 DOWNLO
笔记之三-robots
a280606790的专栏
06-16 193
一、robots robots主要作用是屏蔽一些不愿意让蜘蛛爬取的内容 如：联系我们，关于我们，动态，声明、死链接需要robots屏蔽 robots放于跟目录，蜘蛛先爬取robots。 可以通过查看日志来了解百度是否来过，如何查看百度蜘蛛是否来过我的网站 。 好处： 1、使网站变得更加纯洁。减少权重的分散！ 2、清除站内垃圾 二、语法： 1）User-a...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值