提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
提示:这里可以添加本文要记录的大概内容:
为什么TLS指纹识别对网络爬虫是威胁
TLS 指纹识别是一种根据客户端(浏览器或 HTTP 客户端)的 TLS 握手特征来唯一识别客户端的方法。在此过程中,**客户端会向服务器发送“客户端问候”消息,详细说明连接元数据,**例如支持的 TLS 版本、密码套件、扩展和其他参数。
反机器人系统(包括 Cloudflare、DataDome、Imperva Incapsula 和 Akamai)使用此指纹来区分自动流量和合法流量。
因此,TLS 指纹识别对网络爬虫来说是一个重大挑战,因为它们通常具有不匹配或过时的指纹,这可能会暴露自动化活动并触发阻止机制。例如,使用过时的 TLS 版本(例如 1.0 或 1.1)而不是现代版本(例如 1.2 或 1.3),偏离了现代浏览器的典型行为并引起怀疑。
提示:以下是本篇文章正文内容,下面案例可供参考
一、什么是 burp-awesome-tls 以及它如何工作?
burp-awesome-tls是 Burp Suite 的一个 Java 扩展,可劫持 Burp Suite HTTP 和 TLS API,让您可以伪造真实浏览器的 TLS 指纹。它旨在帮助您在网页抓取等自动化活动中绕过反机器人措施。
然而,Akamai、Cloudflare、PerimeterX 等反机器人程序使用 TLS 指纹识别以外的检测技术。因此, burp-awesome-tls 扩展无法保证成功绕过反机器人程序。
也就是说,burp-awesome-tls 可以增加您抵御仅依靠 TLS 指纹识别和阻止机器人的较温和的反机器人措施的机会。此外,它还提供了有关如何通过 Burp Suite 等工具欺骗其他指纹的见解,以避免在抓取时被阻止。
二、使用步骤
从GitHub下载 burp-awesome-tls
1.导入burp-awesome-tls 扩展
激活 burp-awesome-tls 扩展的第一步是将其加载到 Burp Suite 中。
- 转到菜单栏上的扩展并单击添加。
- 在扩展详细信息下,将扩展类型设置为 Java。
- 单击选择文件按钮浏览您之前下载的 burp-awesome-tls
.jar文件。 - 从下载位置选择扩展后,单击下一步并关闭模式框。

该扩展现在应该处于活动状态并带有复选标记。其名称 (Awesome TLS) 也将出现在菜单栏上,表明您已成功将扩展加载到 Burp Suite 中:

要停用 Awesome TLS 扩展,请取消选中激活复选框,然后在确认对话框中选择“是”。
您可以点击顶部的扩展名来配置其他参数,例如 TLS 握手超时、浏览器指纹选择、自定义客户端问候消息等。例如,如果您想使用 Firefox TLS 指纹,您可以在指纹选项下选择 Firefox 105。您的请求将仅使用所选浏览器的 TLS 指纹(而不是其用户代理)。
但是,我们将坚持使用 burp-awesome-tls 扩展的默认设置,该设置使用最新可用的浏览器指纹。因此,此时您不需要执行任何额外的操作:

接下来,您将使用 Burp 的浏览器功能测试该扩展。
2.测试扩展
测试网站:BrowserLeaks
我们首先通过 Burp 的内置浏览器向 BrowserLeaks 发送请求,观察激活扩展前后 TLS 行为的差异。
为此,请在扩展菜单中取消选中 burp-awesome-tls 以停用它。此操作将允许您以普通模式(不带扩展)运行 Burp Suite。
进入代理并单击打开浏览器以启动 Burp 浏览器。然后通过浏览器加载BrowserLeaks 。
结果特别显示,Burp 的默认请求(不带扩展)使用 TLS 版本 1.0 和 1.1。这些版本已经过时,可能会导致阻塞:

但是,重新激活扩展并刷新浏览器会删除 TLS 1.0 和 1.1,这表明 burp-awesome-tls 扩展已成功欺骗现代 TLS 指纹。

重新激活 burp-awesome-tls 扩展并刷新网页后,Burp 浏览器可能会返回错误“400 Bad Request”。如果发生这种情况,请重新启动 Burp Suite 应用程序并重新启动浏览器以解决此问题。
536

被折叠的 条评论
为什么被折叠?



