本文探讨了网站中默认页面如index.php的作用及其跳转机制，并深入分析了robots.txt文件的功能，包括如何通过它来指导web爬虫的网站搜索行为。
开始链接，，
打开后，url跳转到“1.index”;
index一般为页面默认页，
网站访问的每个页面都有对应的一个文件。抄输入网站的主页，服务器默认的执行的是index.php或index.html或default.html等等，要执行的默认文袭件是可以zhidao设置的。如果没有index.php就默认执行当期目录下的index.php文件。
我们试试index.php,还是自动跳转到1.php
这是我们F12进入开发者模式，进入网络选项卡，发现有Index.php的文件，找到flag
Training--WWW-Robots
打开链接，大概意思就是说robots.txt web爬虫用来检测是否允许其搜索你的网站
什么是“robots”
于是我们访问“/robots.txt”
可以看到他有一个不允许访问的文件f10g.php
不管他，继续访问“/fl0g.php”
得flag
扫一扫
1174
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
