【网络安全 | CTF】攻防世界 robots 解题详析

已于 2024-05-31 09:48:50 修改
阅读量6.4k 收藏 5
点赞数
CC 4.0 BY-SA版权
分类专栏： CTF新手入门实战教程 文章标签： CTF 网络安全
于 2023-05-20 21:59:51 首次发布
原创文章，禁止转载，否则保留追究法律责任的权利。
本文链接：https://blog.youkuaiyun.com/2301_77485708/article/details/130786379
本文详细分析了一次网络安全的CTF比赛中的robots解题过程。通过查看靶机空白页面的源代码，了解到robots.txt的作用是指导搜索引擎爬虫抓取网页的规则。示例中，`/private/`和`/admin/`被禁止抓取。通过GET请求，揭示了被设置为禁止爬取的页面。

文章目录


题目描述：X老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧。

进入靶机，页面空白。
查看页面源代码：
在这里插入图片描述再次结合题目Robots协议

robots.txt

robots.txt是一种文本文件，用于告知搜索引擎爬虫哪些页面可以被抓取、哪些页面不应被抓取。通常，网站管理员会在网站的根目录下放置一个名为robots.txt的文件，并使用该文件指定他们希望搜索引擎索引和不索引的页面。

下面是一个简单的robots.txt示例：

User-agent: *
Disallow: /private/
Disallow: /admin/

这个示例中，User-agent: *指定所有搜索引擎爬虫，而Disallow: /private/和Disallow: /admin/则指示搜索引擎不要抓取网站中包含在/private/和/admin/文件夹中的任何内容。

姿势

GET：/robots.txt

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【网络安全 | CTF】攻防世界 supersqli 解题详析
等风来
05-27 5182
堆叠注入（stacked injection）是一种SQL注入攻击的技术手段，它会在同一行代码中多次使用已知的SQL注入漏洞，从而达到绕过安全措施、执行恶意代码和窃取数据库信息等目的。堆叠注入攻击利用了SQL语句的连贯性，通过在查询语句中嵌入多个SELECT语句或在UPDATE语句中嵌入多个SET赋值的情况来强行插入额外的恶意代码段。表示注释掉其后面的内容，因此程序会执行两次SQL语句，并忽略掉密码的条件，最终返回敏感数据的行数，从而达到了窃取数据库敏感信息的目的。断开原有语句，再插入新的SQL语句。
【网络安全 | CTF】攻防世界 shrine 解题详析
等风来
07-24 5883
进入环境：格式化代码：这段代码创建了一个 Flask 应用对象，并设置了一个名为 FLAG 的配置项，其值来自环境变量。然后定义了两个路由，一个用于返回当前文件的内容，另一个用于渲染 Jinja2 模板。推测flag在名为FLAG的config中，但黑名单过滤了config，通过Jinja2联想SSTI注入在这个程序中，/shrine/ 是定义的路由路径，会匹配到处理该路径的函数。于是构造路径：回显如下：说明SSTI可行在 Flask 中，url_for 函数是定义在 Flask 的全局命名空间中的
（学习笔记）青少年ctf——Robots
最新发布
2402_89289820的博客
08-01 231
得出flag：flag{9db0ed2bb32442ceb5a4f811fb76af00}f1ag_1n_the_h3re.php 这段不像flag，(这是PHP文件的标准扩展名，用于标识文件中包含PHP代码。打开题目出现了：看看Robots.txt文件吧？得出了一个robots.txt 去看一下这个目录。命令使用 dirsearch -u （）先使用dirsearch工具看一下目录。
【攻防世界CTF|web方向】第四题：robots
weixin_70825534的博客
08-02 912
2.关于robots协议的道德性：你看我们访问的f1ag_1s_h3re.php文件，它在robots.txt文件里面定义的是disallow，但是我们还是随随便便就进去了，这也说明robots协议是一种君子协议，没有强制性。但它说了flag is here诶，咱们高低得去Get一下看看，这样才能得到flag。在这个.txt文件里面规定了不让我们去访问f1ag_1s_h3re.php文件。我们去查一下robots协议到底是啥，在我们找到flag的路上至关重要。很好，没骗人，flag is here！
robots (攻防世界)
HackerYY的博客
11-15 2395
攻防世界robots 内附解题过程
ctf攻防世界web方向，基础题详解.1
weopenear的博客
04-24 840
本题在百度文库有 robots.txt 是搜索引擎中访问网站的时候要查看的第一个文件，一般而言 robots.txt 文件告诉蜘蛛软件在服务器上面什么文件是可以被查看的。第一题： 这题很简单，在_获取在线场景_后，点开题目网址，按住f12就可以查看网页源码，就可以容易看到flag，cv复制就可以获取flag。第二题： robots协议，一般ctf比赛中，会遇到很多自己不太会，不太懂的协议，一般会在网上查询一些，如下图所示，按照百度文库查看robots.txt 文件。
CTF-robots
weixin_45246254的博客
12-24 3104
链接http://rt.ichunqiu.com:7001/ 访问链接显示一个图片 根据提示robot，访问robots.txt 访问/admin/3he11.php，可以在代码中看到flag robots.txt是什么？ robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robot
攻防世界——robots
weixin_73668856的博客
11-15 1916
web新手
【网络安全 | CTF】攻防世界 inget 解题详析
等风来
07-23 6746
由于该语句为真，却无回显，故可排除数字型注入。语句，再根据回显做下一步判断。思路：尝试利用or构造。使用sqlmap爆数据。
【网络安全 | CTF】攻防世界 upload1 解题详析
等风来
05-24 6734
其中用到了 JavaScript 中的 Array 原型对象和条件判断语句。该代码通过扩展 Array 原型对象添加了一个名为 contains 的函数，用于判断一个对象是否在数组中，主要应用于判断上传文件的扩展名是否属于指定的图片格式，这里是 [‘jpg’,‘png’]这段代码的作用是检查上传文件的扩展名是否符合要求，如果是图片格式（jpg或png），则启用提交按钮，否则禁用提交按钮并弹出提示消息。上传时抓包，修改filename文件后缀为。考察文件上传，具体原理及姿势不再赘述。
【攻防世界】robots
m0_74979597的博客
07-10 566
从题目知道考察robots协议；robots协议保存在robots.txt文件里；总之：考察robots协议，并会保存在robots.txt 文件里；所有用户不能访问：f1ag_1s_h3re.php文件。robots协议是机器人排除协议，不能使爬取数据；
CTF-Web入门-robots
qq_28383747的博客
11-04 1786
本题是一道Web方向的入门题目，重点在于理解robots协议相关知识。robots协议也称为爬虫协议、爬虫规则等，它会建立robots.txt文件来告诉搜索引擎哪些页面可以抓取，哪些不可以抓取。爬虫访问一个站点时，会首先检查站点的根目录下是否存在robots.txt文件。这也是为什么尝试在地址栏中输入/robots.txt的原因。
攻防世界之robots（web简单）
my_name_is_sy的博客
05-24 595
题目： 老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧。 打开网页，发现什么也没有。 既然如此，那么我们根据题目提示，搜索robots，可得： robots是网站跟爬虫间的协议，具体表现为 robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。 当一个爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt， 如果存在，爬虫就会按照该文件中的内容来确定访问的范围； 如果该文件不存在，所有的爬虫将能够访问网站上所有没有被口令保护的页面
CTF每日一题之robots访问
xiaotu0821的博客
08-09 3441
刚开始只是给了这么一个提示  看的我一脸蒙蔽，怎么没有提交的地方，不用提交flag，说是访问robots.txt，也没说访问哪个网站的，嗯，先看看源码，没啥发现，想想可能是我想太多了，我先进一下本网站的robots看一下好了 嗯，给了一个链接，不管了，先访问一下 哎哟哟哟，通过了，好吧，通过了那就通过了，就这样吧。 end...
攻防世界-web新手
weixin_47346400的博客
02-26 297
robots协议 robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据.
攻防世界（WEB） robots
qq_54929891的博客
08-23 741
做这个题目之前我并不知道robots协议是什么，我就上网查询了相关资料 https://blog.youkuaiyun.com/wallacer/article/details/654289?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162968119416780265444488%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=162968
攻防世界题目robots
qq_44301170的博客
09-28 577
攻防世界robots 题目链接:链接. 点击获取场景后，发现打开的是一个空白网页，查看下源代码 因为题目是关于robots的，用御剑扫描一下目录 发现了robots.txt打开 把f1ag_1s_h3re.php添加到原网址后面 得到了flag。 ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

秋说

感谢打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值