xctf_Training-WWW-Robots

Training-WWW-Robots
[目标]
robots协议
[环境]
Windows
[工具]
浏览器
[分析]
1.该题目提到robots协议

2.一看到robots协议，就会搜寻robots.txt

3.User—Agent： 定义搜索引擎类型（定义robots对哪个搜索引擎生效）
User—Agent：BaiduSpider （定义该协议只对百度搜索引擎生效）
User—Agent：*（定义该协议协议对所有搜索引擎生效）
Disallow： 定义搜索引擎禁止抓取收录地址
Disallow：/ （代表着整站禁止搜索引擎抓取，/代表着网站根目录），如果前期做了整站禁止搜索引擎抓取，后期蜘蛛将很长一段时间不会来网站进行抓取内容。
Disallow：/ data/ （代表着禁止蜘蛛抓取data目录后所有的页面）
Disallow：/d （代表着data文件后边的网页被屏蔽）
4.然后打开Disallow后的文件

从而得到flag