本文介绍了一款自开发的浏览器扩展，用于自动检测网站是否存在robots.txt。扩展兼容Firefox和Chrome，但仅在Firefox的Add-ons上架。详细讲解了安装、使用、配置方法，以及技术实现，包括缓存策略和重定向处理。源代码已开源在GitHub。
首发于若水斋。
在学习PWK课程时有次遇到一个Web服务，访问根路径返回404，于是就用dirb扫描。由于网速不太好，扫描了很久才发现存在robots.txt，以此为突破口成功地拿到了Webshell。当时就尝试找一款能自动检测网站是否存在robots.txt的浏览器扩展，但并没有找到，于是萌生了自己写一个的念头。现在我学完了PWK，顺利拿到了OSCP认证，便花了些时间实现了自己当时的想法。
安装
这款浏览器扩展兼容Firefox和Google Chrome，但我只将它上传到了Firefox的Add-ons，没有将它上传到Chrome Web Store。原因如下：
- 这款浏览器扩展仅对渗透测试有用，而Firefox由于其独立于操作系统的证书系统和代理设置，更适合于渗透测试；
- 想要上传浏览器扩展到Chrome Web Store需要先缴纳5美元，而这款浏览器扩展可能最终只会有一个用户——我自己——在渗透测试时几乎从不使用Google Chrome。
在Firefox中安装
由于我将它上传到了Add-ons，所以在Firefox安装它很简单。打开http
最低0.47元/天 解锁文章
扫一扫
256
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
