攻防世界 web2 robots协议

最新推荐文章于 2025-04-01 10:51:08 发布

maixinbaogu

最新推荐文章于 2025-04-01 10:51:08 发布

阅读量628

点赞数

分类专栏： ctf

本文链接：https://blog.youkuaiyun.com/maixinbaogu/article/details/117918482

版权

本文介绍了攻防世界中Web基础的robots协议，robots.txt是一个网站与爬虫间约定的文本协议，用于指示搜索引擎哪些页面可以抓取，哪些禁止抓取。通过分析robots协议，可以了解如何设置允许和禁止访问的页面。在遇到隐藏内容时，可以通过创建robots.txt文件并遵循其规则来获取所需信息，例如在本例中禁止访问的PHP文件可能包含关键信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

攻防世界 web基础 robots

robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

如果创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。
所以遇到这样的文件首先在根目录中加上robots.txt按访问文件中的内容
下面是VeryCMS里的robots.txt文件:

User-agent: *

该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。