Kali Linux(使用代理、爬行器和爬虫)

什么是Kali Linux(使用代理、爬行器和爬虫)？

Kali Linux是一个基于Debian的Linux发行版，主要用于网络安全测试和渗透测试。它包含了大量的安全工具和常用的网络攻击工具，可以帮助安全专业人员评估和测试系统的安全性。

使用代理是一种通过中间服务器来发送和接收网络请求的方法，可以隐藏真实的IP地址和身份信息。在Kali Linux中，可以使用不同的代理工具来进行网络活动的匿名化，例如Tor和Proxychains。

爬行器（Crawler）指的是一种自动化的网络爬虫程序，可以按照特定规则定向抓取互联网上的页面和数据。爬行器可以通过Kali Linux上的各种编程语言和工具来实现，例如Python的Scrapy框架。

爬虫（Spider）是爬行器的组成部分，是负责解析HTML页面、提取数据和链接的模块。爬虫可以根据需要定制，以获取所需的特定数据或信息。在Kali Linux中，可以使用不同的爬虫库和框架，如BeautifulSoup和Selenium，来编写爬虫程序。

本次实验的目的是带大家了解Kali Linux(使用代理、爬行器和爬虫)以及一些学习的基础。

项目3 使用代理、爬行器和爬虫

一、相关知识与技能

Dirbuster是一种履带式和粗暴式的混合物，它遵循它找到的页面中的所有链接，但也为可能的文件尝试不同的名称。为确定文件是否存在，DirBuster使用服务器的响应代码

二、实验内容：

1．找到Applications|03-Web Application Analysis | Web Crawlers＆DirectoryBruteforcing | Dirbuster 。

二、实验内容：

1．找到Applications|03-Web Application Analysis | Web Crawlers＆DirectoryBruteforcing | Dirbuster 。

2．在 DirBuster 窗口中，将目标 URL 设置为http://192.168.56.11/

3.将线程数设置为 20，以获得不错的测试速度。

4.选择基于列表的暴力破解，然后单击“浏览”。

5.在浏览窗口中，选择刚刚创建的文件（dir_dictionary.txt）

6.取消选中 Be Recursive（递归）选项。

7.对于这个配置，将其余选项保留为默认值。

8．点击 Start（开始）

9．如果转到结果选项卡，将看到 DirBuster 在字典中找到了至少两个文件夹：cgi-bin和 gtd-php

10．搜索结果生成一份报告(Report).

任务 2 使用 ZAP 寻找敏感文件和目录

一、相关知识与技能

代理是一个应用程序，充当客户端和服务器之间的中介，或者为一个服务器组提供不同的服务。客户端从代理请求服务，代理能够将请求转发到适当的服务器并获取来自客户端的回复。

二、实验内容：

1.从 Kali Linux 菜单启动 OWASP ZAP，然后选择 Applications | 03- Web Application Analysis | owasp-zap

2.接下来，将更改 ZAP 的代理设置。默认情况下，它使用端口 8080，这是可以的，但是如果让 ZAP 和 Burp Suite 同时运行，则会干扰 Burp Suite 等其他代理.

3.现在，在 Firefox 中，转到主菜单并导航到 Preferences |Advanced | Network；在Connection 中，单击Settings。

4.选择手动代理配置，并将 HTTP 代理设置为 127.0.0.1，将端口设置为 8088。选中该选项以对所有协议使用相同的代理，然后单击 OK：

5.还可以使用 FoxyProxy 插件设置多个代理设置，切换他们只需点击一下：

6.正确配置代理后，浏览到http://192.168.56.11/WackoPicko/

7.将看到 ZAP 通过显示刚访问过的主机的树结构来对此操作做出反应。

8.现在，在 ZAP 的左上角面板（“站点”选项卡）中，在http://192.168.56.11网站内右键单击WackoPicko 文件夹。

9.如果在底部面板中的 list(列表)菜单没有选择列表文件，选择列表文件后再进行上述扫描。

任务 3 使用 Burp Suite 查看和修改请求

一、相关知识与技能

拦截和修改请求包是 web 应用渗透测试的一个非常重要的方面，它不仅可以绕过一些客户端验证（就像在本示例中所作的那样），还可以研究发送了哪些信息，并且尝试理解应用程序的内部工作方式。

二、实验内容：

1.浏览 OWASP 板块(http://192.168.56.11/owaspbricks/upload-2

2.请求拦截功能在 Burp Suite 中默认启用，如果没有拦截，转到 Burp Suite |proxy | Intercept on ，点击下按钮，拦截打开。

3.这里有一个文件上传表单，应该只能上传图片

4.点击 Open 后，再点 Upload，验证文件上传。

5.现在看看如果上传不同类型的文件会发生什么，比如说，一个 HTML 文件。

6.服务器会验证上传的文件类型。为了绕过这个限制，在BurpSuite 中启用请求拦截。

7.使用浏览器对 HTML 文件再一次提交。

8.Burp 将捕获到这个请求：

9.因为服务器只接收图像，可以改变 content-type，欺骗服务器这是一个图片。

10.接下来，如果要继续拦截请求，可以单击Foeward 提交请求，如果不这样做，可以禁用拦截。

11.可以发现上传成功了。如果滚动鼠标指针到“here”这里，会看到一个文件链接。

任务 4 使用 Burp Suite 的 Intruder 模块发现敏感目录

一、相关知识与技能

Intruder使用加载的攻击载荷去替换请求中被特殊符号标记的字段然后发送请求。有效的攻击载荷类型如下：

SimpleList：可以直接从文件中加载内容，也可以从剪贴板粘贴进去或者是直接写入文本框然后添加到列表中。

RuntimeFile：intruder会在运行时获取指定文件中的有效攻击载荷，当被加载的文件非常大，它将不会被完全载入到内存中。

Numbers：生成一个以十六进制或者十进制编码的纯数字列表，该列表可以是有序的也可以是随机的。

UsernameGenerator：载入一个以电子邮件构成的列表并在其中提取出可能会用到的用户名。

Bruteforcer：获取一个字符集，然后按照指定长度对它进行所有可能的排列组合。

二、实验内容：

1. 在 Proxy 栏目中，找到对 Wacko Picko 根路径的请求包，选中它右键再选择Send tointruder。

2. 然后切换到 Intruder 栏目下的 Positions 选项。

3. 在 URL 的最后一个 / 后面给它随便添加一个字段。

4. 现在切换到 Payload 选项下，根据默认配置生成一个攻击载荷列表。

5. 现在单击 Load 按钮并选择/user/share/wordlists/dirb/small.txt这个文件。

6. 现在点击 Start attack 按钮开始向服务器发送请求。

7. 单击 Status 按钮，状态码就会按照从小到大的顺序展示。

任务 5 使用 ZAP 代理查看和修改请求

一、相关知识与技能

使用 ZAP 代理拦截了一个有效的请求并修改了 ua 标头，验证了服务器已经接受提供的值。ZAP 起到一个中间人的作用，可以任意修改浏览器提供给服务端的请求。

二、实验内容：

1. 转到 VM_1 中的 OWASP Bricks 并且选择 content-4。

2.通过单击工具栏中的绿色圆圈（鼠标移动时变成红色），在代理中启用拦截。

3. 启用中断后，转到浏览器并刷新页面。

4. 在 Break(中断)选项卡中，看到浏览器在刷新页面时发出的请求。

5. 通过点击 Play 图标（蓝色三角形）提交请求。

6. 现在再次进入浏览器，看看响应。

本实验完。

实验小结：

通过使用Kali Linux，并结合代理、爬行器和爬虫，我们可以学会以下技能：

1. 网络代理：Kali Linux提供了一些工具和功能，可以帮助我们设置和使用网络代理。通过了解和使用网络代理，我们可以隐藏自己的真实IP地址，实现匿名上网。

2. 爬行器：Kali Linux提供了一些强大的爬行器工具，可以用来扫描和收集互联网上的数据。通过学习和使用爬行器，我们可以了解网站的结构和内容，从而进行数据挖掘和信息搜集。

3. 爬虫：Kali Linux中的爬虫工具可以帮助我们自动化网页的访问和数据的收集。通过学习和使用爬虫，我们可以提高工作效率，快速获取所需的数据，并进行数据分析和处理。

4. 网络安全：Kali Linux是一个专门用于网络安全的操作系统，通过学习和使用Kali Linux，我们可以了解各种网络攻击和防御技术，提高网络安全意识，并通过实践来加强网络安全能力。

通过学习和应用Kali Linux中的代理、爬行器和爬虫技术，我们可以更加深入地了解和掌握网络和网络安全领域的知识和技能，从而提高自己在这个领域的竞争力和能力。