Robots协议，在网站的域名后加上/robots.txt

最新推荐文章于 2025-11-07 14:57:31 发布

原创

最新推荐文章于 2025-11-07 14:57:31 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了Robots协议的重要性和使用方法，通过示例解析了如何在网站域名后添加/robots.txt文件，以控制搜索引擎爬虫的行为，保护网站数据的隐私和优化SEO策略。

在网站的域名后加上/robots.txt
http://www.taobao.com/robots.txt

User-agent:  Baiduspider #百度爬虫
Allow:  /article #允许访问 /article.htm
Allow:  /oshtml #允许访问 /oshtml.htm
Allow:  /ershou #允许访问 /ershou.htm
Allow: /$ #允许访问根目录，即淘宝主页
Disallow:

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

viphbk

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

基础爬虫知识

啥也不会的博客

05-09

1281

robots.txt协议 robots.txt,称之为君子协议，里面规定了那些信息可以爬取，那些信息不可以爬取.下面以淘宝为例，进行展示. – 首先在浏览器输入 www.taobao.com/robots.txt 这个网址，点进去就可以查询到这个txt文件的内容，下面展示部分txt内容. http协议概念 —服务器与用户之间的一种进行数据交互形式常用请求头信息 –Use-Agent ----请求载体身份标识 –Connection ----请求完毕之后是断开连接还是保存连接常用响应

无法爬取淘宝商品页面

wanjialin的博客

11-30

5611

问题描述：无法爬取淘宝商品页面案例如下： import requests import re def getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "" de

参与评论您还未登录，请先登录后发表或查看评论

robots 协议

热门推荐

wallacer的专栏

04-07

2万+

禁止搜索引擎收录的方法（robots.txt）一、什么是robots.txt文件?搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。二、robots.

Robots协议

programmer9的博客

05-01

1059

作用网站告诉爬虫哪些可以爬取，哪些不能爬取。 https://www.jd.com/robots.txt User-agent: 对于任意的网络爬虫来源，它定义为User-agent Disallow: ? 任何爬虫哪个都不允许访问以问号开头的文件 *代表所有/代表目录 ...

robots协议

qq_73792226的博客

12-22

1675

robots协议是指网站可以建立一个名为robots.txt的文件，来告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。搜索引擎通过读取robots.txt文件来识别某个页面是否允许被抓取。robots.txt文件是一个文本文件，通常放置在网站的根目录下，使用常见的文本编辑器即可创建和编辑。

8.认识robots.txt到爬取信息

E1even的博客

07-30

1344

1.robots协议：什么是robots.txt： robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的，在一个搜索引擎要访问这个网站之前，会先访问robots.txt，robots.txt会告诉搜索引擎什么目录不可访问或者哪些目录可以访问。注意：robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。robots.txt协议是任何用户可以查看的，当然，是

无涯教程-robots协议文件

无涯教程

08-05

1264

搜索视频极速体验服务旨在提升用户观看视频体验的一项富媒体体验升级服务，本服务针对短视频需求场景进行体验优化，将为搜索用户提供稳定、流畅、清晰的播放及浏览体验。视频极速体验服务包含视频极速页和合作平台两部分服务，网站可前往平台完善服务设置，获取各项搜索权益。详情参考《视频极速体验服务说明》。

robots.txt在哪？

02-16

接下来，要告诉用户robots.txt的标准位置是在网站的根目录下，也就是在网站的主域名后面加上/robots.txt。例如，https://www.example.com/robots.txt。这是标准的存放位置，大部分网站都会遵循这个约定。然后，...

robots.txt

Hydra的博客

10-17

1619

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。简介: robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它[1] 。robots.txt是一个协议，而不是...