kali渗透3-crawlers and spiders-爬虫和蜘蛛

最新推荐文章于 2024-12-11 20:00:29 发布

jacobouchoioi

最新推荐文章于 2024-12-11 20:00:29 发布

阅读量1.3k

点赞数 2

分类专栏：笔记

本文链接：https://blog.youkuaiyun.com/qq_40621853/article/details/106057752

版权

In this chapter, we will cover:
Downloading a page for offline analysis with Wget
Downloading a page for offline analysis with HTTrack
Using ZAP’s spider
Using Burp Suite to crawl a website
Repeating requests with Burp’s repeater
Using WebScarab
Identifying relevant files and directories from crawling results

简介

渗透测试可以通过多种途径完成，例如黑盒、灰盒和白盒。黑盒测试在测试者没有任何应用的前置信息条件下执行，除了服务器的 URL。白盒测试在测试者拥有目标的全部信息的条件下执行，例如它的构造、软件版本、测试用户、开发信息，以及其它。灰盒测试是黑盒和白盒的混合。
对于黑盒和灰盒测试，侦查阶段对测试者非常必然，以便发现白盒测试中通常由应用所有者提供的信息。
我们打算采取黑盒测试方式，因为它涉及到外部攻击者用于获取足够信息的所有步骤，以便入侵应用或服务器的特定功能。
作为每个 Web 渗透测试中侦查阶段的一部分，我们需要浏览器每个包含在网页中的链接，并跟踪它展示的每个文件。有一些工具能够帮助我们自动和以及加速完成这个任务，它们叫做Web 爬虫或蜘蛛。这些工具通过跟随所有到外部文件的链接和引用，有的时候会填充表单并将它们发送到服务器，保存所有请求和响应来浏览网页，从而提供给我们离线分析它们的机会。
这一章中，我们会涉及到一些包含在 Kali 中的爬虫的使用，也会查看我们感兴趣的文件和目录，来寻找常见的网页。

使用 Wget 为离线分析下载网页

操作步骤

让我们做第一次尝试，通过仅仅以一个参数调用 Wget 来下载页面。

wget http://192.168.56.102/bodgeit/

它仅仅下载了 index.html 文件到当前目录，这是应用的首页。

我们需要使用一些选项，告诉 Wget 将所有下载的文件保存到特定目录中，并且复制我们设为参数的 URL 中包含的所有文件。让我们首先创建目录来保存这些文件：

mkdir bodgeit_offline

现在，我们会递归下载应用中所有文件并保存到相应目录中。

wget -r -P bodgeit_offline/ http://192.168.56.102/bodgeit/

工作原理
Wget 是个为下载 HTTP 内容创建的工具。通过 -r 参数，我们可以使其递归下载，这会按照它所下载的每个页面的所有连接，并同样下载它们。 -P 选项允许我们设置目录前缀—— Wget 会开始保存下载内容的目录，它默认设为当前目录。

更多
在我们使用 Wget 时，可以考虑一些其它的实用选项：
-l &#x

最低0.47元/天解锁文章