robots协议

晚上刷ctf时，做到一题，关于robots的，作为小白的我，丝毫不会，就查了一下。

robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Notepad，就可以创建和编辑它 。robots.txt是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。当 一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

点开网址什么都没有，看教程说要用dirsearch扫目录脚本，又百度了一下。。。

dirsearch是一个基于python的命令行工具，旨在暴力扫描页面结构，包括网页中的目录和文件。

在kali中用以下命令即可使用：(kali中自带python环境）
git clone https://github.com/maurosoria/dirsearch.git
cd dirsearch/
./dirsearch.py -u 目标网址 -e *
果然扫到了robots.txt，emmm，尴尬的是，不会访问该文件，后来大神指点，在网址链接后面加上robots.txt即可访问，表示学到了，?终于得到了flag.