攻防世界——robots

• 首先打开链接发现空白一片

robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。

注意：写爬虫爬取网站的信息的时候一定要注意看robots协议，要不然一不小心爬取别人的隐秘内容是一定程度违反信息安全法的。

robots.txt应放置于网站的根目录下。所以我们可以访问网址的:/robots.txt
原文链接：https://blog.youkuaiyun.com/HEAVEN569/article/details/114808247

• 然后我们根据提示加入后缀robots.txt

 

•  看到flag了，输入就得到flag了