【攻防世界-web】robots

1.打开并进入实验场景

2.根据题目描述考察的是robots协议

Robots协议，也称为爬虫协议、机器人协议或网络爬虫标准，是一种用于指导网络爬虫（web crawler）如何访问和抓取网站内容的规范。它通过在网站的根目录下放置一个名为"robots.txt"的文本文件来定义规则。主要目的是控制搜索引擎爬虫的行为，以保护网站的内容和资源。通过该协议，网站管理员可以指定哪些页面可以被爬虫访问，哪些页面应该被忽略，以及爬虫在访问网站时应遵守的其他限制条件。

3.根据robots协议，可知会在根目录下放置一个robots.txt文本文件，因此，在网页url后添加/robots.txt查看

4.从页面输出内容，可以看到有一个php文件，在url后添加查看，出现flag值。