自动化测试如何绕过Cloudflare验证码?Python + Selenium 脚本实战指南!

部署运行你感兴趣的模型镜像

📝 面试求职: 「面试试题小程序」 ,内容涵盖 测试基础、Linux操作系统、MySQL数据库、Web功能测试、接口测试、APPium移动端测试、Python知识、Selenium自动化测试相关、性能测试、性能测试、计算机网络知识、Jmeter、HR面试,命中率杠杠的。(大家刷起来…)

📝 职场经验干货:

软件测试工程师简历上如何编写个人信息(一周8个面试)

软件测试工程师简历上如何编写专业技能(一周8个面试)

软件测试工程师简历上如何编写项目经验(一周8个面试)

软件测试工程师简历上如何编写个人荣誉(一周8个面试)

软件测试行情分享(这些都不了解就别贸然冲了.)

软件测试面试重点,搞清楚这些轻松拿到年薪30W+

软件测试面试刷题小程序免费使用(永久使用)


01 什么是 Cloudflare 验证码

Cloudflare 提供网络工具,并提供一套全面的安全功能,以保护网站免受各种在线威胁。Cloudflare 验证码是一种用于区分人类用户和自动化机器人的功能。它是 Cloudflare 安全服务的重要组成部分,旨在防御网站免受自动化攻击和滥用。

Cloudflare 验证码的独特功能

  • 集成的安全解决方案:

    Cloudflare 的验证码服务通常作为其整体安全解决方案的一部分提供,包括 DDoS 保护、Web 应用防火墙 (WAF)、内容分发网络 (CDN) 等。这使得网站可以从单个平台获得全面的安全保护。

  • 智能流量管理:

    Cloudflare 利用其全球网络和智能流量管理技术,通过在检测到异常流量或潜在威胁时动态触发验证码,更有效地保护网站。

  • 无缝用户体验:

    Cloudflare 致力于通过减少对合法用户的干扰来提供无缝的用户体验。例如他们的“Turnstile”验证码旨在通过最少的用户交互来验证人类访问者。

  • 隐私:

    Cloudflare 强调隐私,致力于减少对用户数据的依赖和收集,并提供更隐私友好的身份验证方法。

02 Cloudflare 如何检测机器人

Chromedriver 检测

确定浏览器是否受自动化工具控制。

像 Chromedriver 这样的自动化工具可以通过检查特定的浏览器行为和属性来检测,这些行为和属性是自动化脚本所特有的。例如,某些 JavaScript 变量或浏览器属性可以揭示自动化工具的存在。此外,监控交互的时间和模式可以帮助识别非人类行为。

设备指纹识别

如果相同的浏览器指纹用于大量访问,可以识别为机器行为。需要使用不同的有效浏览器指纹信息来分配访问。

设备指纹识别涉及收集用户设备的各种属性,如屏幕分辨率、安装的字体、浏览器插件等。通过组合这些属性,可以为每个设备创建一个唯一标识符(指纹)。在多个会话中重复使用相同的指纹可能表明自动化活动。为减轻这种情况,需要随机化和变化指纹数据,使其更像人类。

IP 代理检测

阻止恶意 IP 位置并限制请求频率。

IP 代理检测涉及识别和阻止与恶意活动或高频请求相关的 IP 地址。技术包括维护已知坏 IP 地址的黑名单,使用地理位置数据阻止可疑区域,并实施速率限制以防止单个 IP 地址发出过多请求。此外,分析 IP 地址的行为模式可以帮助区分合法用户和自动化机器人。

浏览器真实性

检查浏览器属性和请求信息是否异常,例如,头部中的 User-Agent 是否由 Python 代码发出,以及 User-Agent 声明的浏览器是否具有相应属性。

JavaScript 挑战

向用户发送 JavaScript 代码。通常,爬虫没有直接渲染 JS 的能力。通过其他手段模拟脚本执行有相应的检测方法。在代码执行期间,收集一系列设备信息,如 canvas、navigator、插件、Chrome 版本以及一系列物理硬件设备信息。这些设备信息被加密并由 Cloudflare 判断其真实性。

Cookie

通过检查 cf_clearance 的有效期,持续更新并跟踪用户行为是否异常。

TLS 指纹识别

  • 浏览器通常使用 HTTP/2,但编程语言发出的请求大多默认使用 HTTP/1.1。此外,浏览器请求的 JA3 信息与编程语言的不同。

  • TLS 指纹识别是一种用于识别和验证 TLS(传输层安全)通信的技术。

  • TLS 指纹可以通过检查在 TLS 握手期间使用的密码套件、协议版本和加密算法来确定 TLS 通信的特征。由于每个 TLS 实现使用不同的密码套件、协议版本和加密算法,比较 TLS 指纹可以确定通信是否来自预期的源或目标。

  • TLS 指纹识别可用于检测网络欺骗、中间人攻击和间谍活动等安全威胁,还可用于识别和管理设备和应用程序。

03 如何绕过并解决 Cloudflare 验证码

1. CapSolver

有很多方法可以解决 Cloudflare 中的验证码,但最流行和高效的方法是使用第三方解决服务,你可以使用 CapSolver 来解决验证码。以下是基本步骤:

  • 使用 CapSolver 获取有效令牌,然后通过 TLS 请求库正常访问。

CapSolver 可以通过提供有效的 Cookie 和会话数据来帮助绕过各种检测机制。一旦获得这些凭证,就可以使用令牌正常发送请求。你需要使用 TLS 库发送有效请求。这种方法确保请求看起来是真实的,不太可能被阻止或标记为可疑。

此外,使用 CapSolver 可以帮助你解决以下问题:

  • IP 检测:使用高质量代理绕过 IP 阻止和限制。

  • JavaScript 挑战:像真实浏览器一样执行 JavaScript 代码,确保正确处理挑战。

  • 人机交互:根据挑战执行相应操作,模拟人类行为。

  • 设备环境指纹识别:每次使用干净有效的浏览器环境信息,通过真实性检查。

以下是使用 Python 获取 Cloudflare Turnstile 解决方案的示例代码:

2. Puppeteer、Selenium、Playwright

使用浏览器自动化工具来驱动网站访问并检索数据,这可以避免复杂的 JavaScript 检测;然而,这些工具可能会被检测到是由机器人控制的。

浏览器自动化工具如 Puppeteer、Selenium 和 Playwright 可以模拟用户与网站的真实交互,包括处理 JavaScript 挑战和渲染动态内容。虽然它们可以绕过一些检测机制,但它们通常会留下可被反机器人系统识别的痕迹。通过随机化鼠标移动、按键等互动,可以帮助减轻被检测的风险。

3. Undetected Chromedriver

可以绕过一些机器人控制检测。

undetected_chromedriver 是一个修改版的 Chromedriver,包含了避免被反机器人机制检测的补丁。它可以通过模拟人类行为和修改浏览器属性来处理各种形式的浏览器指纹识别和其他检测技术。此工具特别适用于网络抓取和自动化测试,其中标准 Chromedriver 会被阻止。

4. 使用 Python curl_cffi 解决 TLS 检测

获取有效的 Cookie 后,结合其他方法重复访问网站。关键是要确保 TLS 请求连接有效地被掩盖,否则数据访问仍会受到限制。

04 结论

通过遵循这些步骤,你可以使用 Python 和 Selenium 以及 CapSolver 服务绕过并解决 Cloudflare 验证码。此方法确保你的自动化脚本可以顺利运行而无需人工干预。然而,始终以道德方式使用这些技术,并遵守你所互动网站的服务条款。

最后: 下方这份完整的软件测试视频教程已经整理上传完成,需要的朋友们可以自行领取【保证100%免费】

​​

您可能感兴趣的与本文相关的镜像

Python3.10

Python3.10

Conda
Python

Python 是一种高级、解释型、通用的编程语言,以其简洁易读的语法而闻名,适用于广泛的应用,包括Web开发、数据分析、人工智能和自动化脚本

使用Selenium设置浏览器以尝试绕过Cloudflare检测涉及多个方面,包括配置特定的浏览器选项以及可能利用一些额外工具或库来增强自动化脚本的行为模拟真实性。下面提供一种基于Chrome浏览器的方法。 ### 配置无头模式与禁用自动化标记 为了使浏览器行为更像真实用户而不是自动化的测试环境,可以关闭某些可能导致被识别为机器人的特性: ```python from selenium import webdriver from selenium.webdriver.chrome.service import Service as ChromeService from selenium.webdriver.chrome.options import Options from webdriver_manager.chrome import ChromeDriverManager chrome_options = Options() # 不加载图片, 提升速度并减少资源占用 chrome_options.add_argument("--blink-settings=imagesEnabled=false") # 禁止启用自动化扩展程序 chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"]) # 关闭 "Chrome正在受到自动软件控制" 的提示框 chrome_options.add_experimental_option('useAutomationExtension', False) driver = webdriver.Chrome(service=ChromeService(ChromeDriverManager().install()), options=chrome_options) ``` ### 设置User-Agent字符串 更改请求中的User-Agent可以帮助避开简单的机器人过滤机制: ```python user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36' chrome_options.add_argument(f'user-agent={user_agent}') ``` ### 使用代理服务器 有时通过公共网络访问网站会触发更多的安全检查;因此,考虑使用私有的住宅IP地址池作为代理可能会有所帮助。这可以通过向`webdriver`传递相应的参数实现。 请注意,在实际操作中应当遵循目标站点的服务条款,并尊重其robots.txt文件规定的内容。如果某个网站特别针对防止爬虫做了大量工作,则强行规避这些措施不仅违反道德规范也可能触犯法律[^1]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值