CTF每日一题之robots访问

最新推荐文章于 2025-10-07 14:19:50 发布
原创 最新推荐文章于 2025-10-07 14:19:50 发布 · 3.4k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文记录了解决一个关于robots.txt提示的谜题过程。作者最初感到困惑，因为没有明确的指导如何进行，但在检查源代码未果后，决定直接访问当前网站的robots.txt文件。这一举动意外地解决了谜题。

刚开始只是给了这么一个提示

 看的我一脸蒙蔽，怎么没有提交的地方，不用提交flag，说是访问robots.txt，也没说访问哪个网站的，嗯，先看看源码，没啥发现，想想可能是我想太多了，我先进一下本网站的robots看一下好了

嗯，给了一个链接，不管了，先访问一下

哎哟哟哟，通过了，好吧，通过了那就通过了，就这样吧。

end

【网络安全 | CTF】攻防世界 robots 解题详析
等风来
05-20 6411
通常，网站管理员会在网站的根目录下放置一个名为robots.txt的文件，并使用该文件指定他们希望搜索引擎索引和不索引的页面。题目描述：X老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧。robots.txt是一种文本文件，则指示搜索引擎不要抓取网站中包含在。被设置为禁止爬取，访问即可。指定所有搜索引擎爬虫，而。进入靶机，页面空白。文件夹中的任何内容。
【攻防世界CTF|web方向】第四题：robots
weixin_70825534的博客
08-02 917
2.关于robots协议的道德性：你看我们访问的f1ag_1s_h3re.php文件，它在robots.txt文件里面定义的是disallow，但是我们还是随随便便就进去了，这也说明robots协议是一种君子协议，没有强制性。但它说了flag is here诶，咱们高低得去Get一下看看，这样才能得到flag。在这个.txt文件里面规定了不让我们去访问f1ag_1s_h3re.php文件。我们去查一下robots协议到底是啥，在我们找到flag的路上至关重要。很好，没骗人，flag is here！
[CTF&攻防世界&Web]Training-WWW-Robots
Sakura&Blog
10-07 295
本文介绍了robots.txt文件的作用与基本语法。robots.txt是放置在网站根目录下的文本文件，通过Robots排除协议指导网络爬虫的访问行为，属于自愿性规范。主要功能包括控制爬虫访问权限、优化爬取效率和保护敏感数据。基本语法包含User-agent指定目标爬虫、Disallow禁止访问路径、Allow允许访问路径及Sitemap声明网站地图位置。最后通过解题示例演示了如何通过访问robots.txt和fl0g.php获取flag信息。
uw-ctf:UW CTF的robots.txt挑战
05-09
超宽频 我为UW CTF的第一个危险样式CTF创建的robots.txt挑战在此处尝试挑战：
CTF-robots
weixin_45246254的博客
12-24 3106
链接http://rt.ichunqiu.com:7001/ 访问链接显示一个图片 根据提示robot，访问robots.txt 访问/admin/3he11.php，可以在代码中看到flag robots.txt是什么？ robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robot
CTF-Web入门-robots
qq_28383747的博客
11-04 1790
本题是一道Web方向的入门题目，重点在于理解robots协议相关知识。robots协议也称为爬虫协议、爬虫规则等，它会建立robots.txt文件来告诉搜索引擎哪些页面可以抓取，哪些不可以抓取。爬虫访问一个站点时，会首先检查站点的根目录下是否存在robots.txt文件。这也是为什么尝试在地址栏中输入/robots.txt的原因。
精选资源
CTF竞赛100题，优质题目
06-28
CTF竞赛100题，优质题目
CTF题库超详细资源合集
06-14
在传统的CTF线上⽐赛中，Web类题⽬是主要的题型之⼀，相较于⼆进制、逆向等类型的题⽬，参赛者不需掌握系统底层知识；相较于密码学、杂项问题，不需具特别强的编程能⼒，故⼊门较为容易。Web类题⽬常见的漏洞类型...
精选资源
CTF100题.docx
05-25
CTF是一种流行的信息安全竞赛形式，其英文名可直译为“夺得Flag”，也可意译为“夺旗赛”。其大致流程是，参赛团队之间通过进行攻防对抗、程序分析等形式，率先从主办方给出的比赛环境中得到一串具有一定格式的字符...
精选资源
领航杯 CTF 2021 决赛 真题 7z
12-07
领航杯 CTF 2021 决赛
【CTF知识库】robots.txt
国服可爱玩家的BLOG
06-13 899
【CTF知识库】robots.txt。
青少年CTF-Web-Robots
zxsctf的博客
10-08 1190
题目名称：Robots题目描述：昨天十三年社团讲课，讲了Robots.txt的作用，小刚上课没有认真听课正在着急，你能不能帮帮忙？题目难度：一颗星。
CTF-web题 robots协议
2302_80276789的博客
07-22 662
打开如上，第一行user-agent的*是适用于任意的浏览器，后面的是不允许访问（爬虫）后面的两个文件夹和文件，robots协议是一个君子协议，不是硬性要求，我们可以去爬取，但是可能会承担法律责任。访问第一个文件发现没有内容，但是我们往下翻就会发现内容藏在最下面（有的时候可能会藏在源代码被注释，我们需要去仔细寻找。题目打开之后就可以看见他的提示robots。源代码也没有flag信息。那么我们就试一试看看网页中有没有藏一个robots文档输入如下。以上就是题目的flag。与平时不同，前面不是flag的字样。
ctf-攻防世界-web：robots
一只菜鸟的博客
11-01 2105
提示robots协议，那么直接在靶机地址后加/robots.txt，访问看看 出现disallow，即不允许全体爬虫访问f1ag_1s_h3re.php，按照ctf“不让干啥偏干啥”的传统，那就去访问f1ag_1s_h3re.php看看，果然flag出现 另：关于robots.txt robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的...
2.xctf robots
山兔的博客
09-14 243
题目：X老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧。 打开网站是空白的，直接访问，http://111.200.241.244:58883/robots.txt。 发现了一个可以爬取的文件，f1ag_1s_h3re.php，直接访问http://111.200.241.244:58883/f1ag_1s_h3re.php，得到flag。 基础知识： 1、robots.txt这个文件名必需要是小写而且都要放在网站的根目录下。http://www.hongtao
CTF--Training-WWW-Robots
qq_40730029的博客
04-20 613
CTF之攻防世界高手进阶题 Training-WWW-Robotsb 题目： 进入场景之后显示如下，由题可知考察的是robots协议 在地址栏加上/robots.txt网页跳转，我们可以看到网页中显示/f10.php不允许显示 同样在地址栏将php网页加上，flag就出现了 ...
【CTF】Web robots 通关教程
qq_45196785的博客
09-26 653
robots.txt是一个用于指示搜索引擎爬虫如何访问网站内容的文本文件。6、查看robots.txt，拼接Disallow下的html。3、火狐浏览器乱码，可将页面编码调为UTF-8。1、练习中心 - 题目列表 - Web。2、查看题目-启动动态环境。5、修复文字编码-折叠菜单。4、更多工具-定制工具栏。
robots协议ctf
W286734的博客
10-25 561
Robots协议，全称为“网络爬虫排除标准”(Robots Exclusion Protocol)，是互联网上用于指导搜索引擎蜘蛛如何抓取和访问网站的一种协议。网站可以通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，从而保护敏感信息和数据，确保用户隐私不被得犯。
{青少年CTF} Robots 详解
lfc18950509270的博客
07-26 805
看这个字面意思好像是说flag在h3re.php文件，找了一下，发现404。发现一个文件叫robots.txt,和题目有点关系，看了再说。进来发现，空空如也，吓我一跳。先丢进去看一下目录，扫了再说。
ctf中的web中的robots基础题
最新发布
10-26
首先，用户的问题是：“我想查找CTF比赛中Web方向关于robots的基础题目”。用户参考了提供的引用内容，这些引用是关于网络安全CTF的Web基础题目，特别是robots协议相关的。 从引用中提取关键信息： - 引用[1]提到了...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值