【攻防世界CTF|web方向】第四题：robots

已于 2024-08-02 17:35:25 修改
阅读量782 收藏 4
点赞数 12
文章标签： 安全 笔记 经验分享
于 2024-08-02 17:09:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_70825534/article/details/140874761
版权

一、解题思考过程

1.查看题目所给信息：知道题目与robots协议相关

2.进入题目场景

发现啥都没有

以web方向题目的经验，我们下意识去查看网页源码

很遗憾，flag没在这儿

3.回到题目描述中所说的robots协议

我们去查一下robots协议到底是啥，在我们找到flag的路上至关重要

robots.txt示例：

既然它在网站根目录下，我们就去Get它

最低0.47元/天 解锁文章
Wordsworth983
关注
【网络安全 | CTF】攻防世界 robots 解题详析
等风来
05-20 6197
通常，网站管理员会在网站的根目录下放置一个名为robots.txt的文件，并使用该文件指定他们希望搜索引擎索引和不索引的页面。题目描述：X老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧。robots.txt是一种文本文件，则指示搜索引擎不要抓取网站中包含在。被设置为禁止爬取，访问即可。指定所有搜索引擎爬虫，而。进入靶机，页面空白。文件夹中的任何内容。
【攻防世界CTF|web方向】第一题：Training-WWW-Robots
weixin_70825534的博客
07-24 710
如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。1.做题技巧层面：有时flag会出现一些相似的变形，比如这道题中的fl0g，不要忽视了。如果您希望搜索引擎收录网站上所有内容，请勿建立 robots.txt文件。3.尝试访问：本题目场景的网页下的robots.txt文件，得到如下界面。，如同守门人无法阻止窃贼等恶意闯入者,是一个类似于君子协议的文件。形式：在网站根目录下的robots.txt文件。的内容时，才需要使用。
【Web方向】 敏感文件查询
wanderer的博客
11-14 1311
ctf敏感文件泄露
web安全-robots-攻防世界（详解）
最新发布
2303_80806493的博客
05-14 167
Robots协议，也称为robots.txt，是网站用来指导网络爬虫如何访问其页面的标准。它通常位于网站的根目录下，告诉爬虫哪些页面可以或不可以被抓取。在X老师的课堂上，小宁同学因打瞌睡错过了这一重要内容。通过访问robots.txt文件，发现了一个名为f1ag_1s_h3re.php的文件，访问后成功获取了flag：cyberpeace{96e8ed7aafb4c8ca3e2cf28e22b6e1c0}。这个例子展示了Robots协议在网络安全和信息检索中的实际应用。
CTF-robots
weixin_45246254的博客
12-24 2967
链接http://rt.ichunqiu.com:7001/ 访问链接显示一个图片 根据提示robot，访问robots.txt 访问/admin/3he11.php，可以在代码中看到flag robots.txt是什么？ robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robot
CTF-Web入门-robots
qq_28383747的博客
11-04 1642
本题是一道Web方向的入门题目，重点在于理解robots协议相关知识。robots协议也称为爬虫协议、爬虫规则等，它会建立robots.txt文件来告诉搜索引擎哪些页面可以抓取，哪些不可以抓取。爬虫访问一个站点时，会首先检查站点的根目录下是否存在robots.txt文件。这也是为什么尝试在地址栏中输入/robots.txt的原因。
CTF-web题 robots协议
2302_80276789的博客
07-22 573
打开如上，第一行user-agent的*是适用于任意的浏览器，后面的是不允许访问（爬虫）后面的两个文件夹和文件，robots协议是一个君子协议，不是硬性要求，我们可以去爬取，但是可能会承担法律责任。访问第一个文件发现没有内容，但是我们往下翻就会发现内容藏在最下面（有的时候可能会藏在源代码被注释，我们需要去仔细寻找。题目打开之后就可以看见他的提示robots。源代码也没有flag信息。那么我们就试一试看看网页中有没有藏一个robots文档输入如下。以上就是题目的flag。与平时不同，前面不是flag的字样。
青少年CTF-Web-Robots
zxsctf的博客
10-08 1058
题目名称：Robots题目描述：昨天十三年社团讲课，讲了Robots.txt的作用，小刚上课没有认真听课正在着急，你能不能帮帮忙？题目难度：一颗星。
ctf攻防世界web方向，基础题详解.1
weopenear的博客
04-24 783
本题在百度文库有 robots.txt 是搜索引擎中访问网站的时候要查看的第一个文件，一般而言 robots.txt 文件告诉蜘蛛软件在服务器上面什么文件是可以被查看的。第一题： 这题很简单，在_获取在线场景_后，点开题目网址，按住f12就可以查看网页源码，就可以容易看到flag，cv复制就可以获取flag。第二题： robots协议，一般ctf比赛中，会遇到很多自己不太会，不太懂的协议，一般会在网上查询一些，如下图所示，按照百度文库查看robots.txt 文件。
CTF（攻防世界）web 基础篇
xj28555的博客
06-28 6867
今天写的是攻防世界的CTF，题目类型是web新手篇，虽然很多博客上都有，但是我还是想用自己的方式在写一遍。好的直接步入正题。 第一题 点击进入题目场景 在看题目给出的提示教我们查看源代码，但是右键不管用了。因为我用的是谷歌浏览器，我们可以通过F12进入开发者进而查看源代码，或者Ctrl+U。 看到源代码后把flag填进指定区域即可 第二题 题目描述是关于robots协议，而robots协议是一个网站和爬虫之间的协议，在robots上你可以写上你网站不想被爬虫爬取的内容。大家也可以
攻防世界web新手题答案_攻防世界web 新手区 wp
weixin_39518840的博客
11-21 3071
view_source题目描述右击不管用，打开题目看到以下界面右击不管用，可以按F12 -> source 查看源代码，拿到flagrobots题目描述就是和robots协议有关的，直接在url中 输入robots.txt 查看 robots协议，并拿到flagrobots协议robots.txt文件是一个文本文件，使用任何一个常见的文本编辑器，比如Windows系统自带的Note...
uw-ctf:UW CTF的robots.txt挑战
05-09
超宽频 我为UW CTF的第一个危险样式CTF创建的robots.txt挑战在此处尝试挑战：
ctf-攻防世界-web：robots
一只菜鸟的博客
11-01 1926
提示robots协议，那么直接在靶机地址后加/robots.txt，访问看看 出现disallow，即不允许全体爬虫访问f1ag_1s_h3re.php，按照ctf“不让干啥偏干啥”的传统，那就去访问f1ag_1s_h3re.php看看，果然flag出现 另：关于robots.txt robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的...
【CTF】Web robots 通关教程
qq_45196785的博客
09-26 596
robots.txt是一个用于指示搜索引擎爬虫如何访问网站内容的文本文件。6、查看robots.txt，拼接Disallow下的html。3、火狐浏览器乱码，可将页面编码调为UTF-8。1、练习中心 - 题目列表 - Web。2、查看题目-启动动态环境。5、修复文字编码-折叠菜单。4、更多工具-定制工具栏。
【CTF知识库】robots.txt
国服可爱玩家的BLOG
06-13 812
【CTF知识库】robots.txt。
robots协议ctf
W286734的博客
10-25 463
Robots协议，全称为“网络爬虫排除标准”(Robots Exclusion Protocol)，是互联网上用于指导搜索引擎蜘蛛如何抓取和访问网站的一种协议。网站可以通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，从而保护敏感信息和数据，确保用户隐私不被得犯。
CTF解题记录-Web-robots协议(附靶场链接)
qq_45537463的博客
09-19 2498
题目已经提示的很明显了，这题肯定是有关robots协议，打开题目场景 是一个空白页，在url后加上/robots.txt 出现页面 再将 url中的 /robots.txt 换成/f1ag_1s_h3re.php 得到flag！
CTF-web-robots协议
qq_43681877的博客
04-30 2517
Robots协议 环境网址http://111.198.29.45:59344 首先安装dirsearch_master 下载地址（https://github.com/maurosoria/dirsearch） 运行环境为python3 在解压后的dirsearch_master文件夹里打开命令行 输入 python dirsearch.py -u http://111.198.29.45:59...
CTF每日一题之robots访问
xiaotu0821的博客
08-09 3388
刚开始只是给了这么一个提示  看的我一脸蒙蔽，怎么没有提交的地方，不用提交flag，说是访问robots.txt，也没说访问哪个网站的，嗯，先看看源码，没啥发现，想想可能是我想太多了，我先进一下本网站的robots看一下好了 嗯，给了一个链接，不管了，先访问一下 哎哟哟哟，通过了，好吧，通过了那就通过了，就这样吧。 end...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值