如何使用 Burp Suite 和 burp-awesome-tls 绕过 TLS 指纹识别

该文章已生成可运行项目,

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档


原始参考国外文章

前言

提示:这里可以添加本文要记录的大概内容:

为什么TLS指纹识别对网络爬虫是威胁
TLS 指纹识别是一种根据客户端(浏览器或 HTTP 客户端)的 TLS 握手特征来唯一识别客户端的方法。在此过程中,**客户端会向服务器发送“客户端问候”消息,详细说明连接元数据,**例如支持的 TLS 版本、密码套件、扩展和其他参数。

反机器人系统(包括 Cloudflare、DataDome、Imperva Incapsula 和 Akamai)使用此指纹来区分自动流量和合法流量。

因此,TLS 指纹识别对网络爬虫来说是一个重大挑战,因为它们通常具有不匹配或过时的指纹,这可能会暴露自动化活动并触发阻止机制。例如,使用过时的 TLS 版本(例如 1.0 或 1.1)而不是现代版本(例如 1.2 或 1.3),偏离了现代浏览器的典型行为并引起怀疑。


提示:以下是本篇文章正文内容,下面案例可供参考

一、什么是 burp-awesome-tls 以及它如何工作?


burp-awesome-tls是 Burp Suite 的一个 Java 扩展,可劫持 Burp Suite HTTP 和 TLS API,让您可以伪造真实浏览器的 TLS 指纹。它旨在帮助您在网页抓取等自动化活动中绕过反机器人措施。

然而,Akamai、Cloudflare、PerimeterX 等反机器人程序使用 TLS 指纹识别以外的检测技术。因此, burp-awesome-tls 扩展无法保证成功绕过反机器人程序。

也就是说,burp-awesome-tls 可以增加您抵御仅依靠 TLS 指纹识别和阻止机器人的较温和的反机器人措施的机会。此外,它还提供了有关如何通过 Burp Suite 等工具欺骗其他指纹的见解,以避免在抓取时被阻止。

二、使用步骤

从GitHub下载 burp-awesome-tls

1.导入burp-awesome-tls 扩展

激活 burp-awesome-tls 扩展的第一步是将其加载到 Burp Suite 中。

  1. 转到菜单栏上的扩展并单击添加。
  2. 在扩展详细信息下,将扩展类型设置为 Java。
  3. 单击选择文件按钮浏览您之前下载的 burp-awesome-tls .jar文件。
  4. 从下载位置选择扩展后,单击下一步并关闭模式框。

在这里插入图片描述
该扩展现在应该处于活动状态并带有复选标记。其名称 (Awesome TLS) 也将出现在菜单栏上,表明您已成功将扩展加载到 Burp Suite 中:
在这里插入图片描述
要停用 Awesome TLS 扩展,请取消选中激活复选框,然后在确认对话框中选择“是”。

您可以点击顶部的扩展名来配置其他参数,例如 TLS 握手超时、浏览器指纹选择、自定义客户端问候消息等。例如,如果您想使用 Firefox TLS 指纹,您可以在指纹选项下选择 Firefox 105。您的请求将仅使用所选浏览器的 TLS 指纹(而不是其用户代理)。

但是,我们将坚持使用 burp-awesome-tls 扩展的默认设置,该设置使用最新可用的浏览器指纹。因此,此时您不需要执行任何额外的操作:
在这里插入图片描述
接下来,您将使用 Burp 的浏览器功能测试该扩展。

2.测试扩展

测试网站:BrowserLeaks
我们首先通过 Burp 的内置浏览器向 BrowserLeaks 发送请求,观察激活扩展前后 TLS 行为的差异。

为此,请在扩展菜单中取消选中 burp-awesome-tls 以停用它。此操作将允许您以普通模式(不带扩展)运行 Burp Suite。

进入代理并单击打开浏览器以启动 Burp 浏览器。然后通过浏览器加载BrowserLeaks

结果特别显示,Burp 的默认请求(不带扩展)使用 TLS 版本 1.0 和 1.1。这些版本已经过时,可能会导致阻塞

在这里插入图片描述

但是,重新激活扩展并刷新浏览器会删除 TLS 1.0 和 1.1,这表明 burp-awesome-tls 扩展已成功欺骗现代 TLS 指纹。
在这里插入图片描述
重新激活 burp-awesome-tls 扩展并刷新网页后,Burp 浏览器可能会返回错误“400 Bad Request”。如果发生这种情况,请重新启动 Burp Suite 应用程序并重新启动浏览器以解决此问题。

本文章已经生成可运行项目
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值