突破神奇的Cloudflare防火墙

python-httpx 发送http2.0时代请求 在日常开发中,经常会发送各种各样的网络请求。Python中常用的网络请求库有requests、aiohttp、httpx等,httpx是基于Python3的新一代的网络请求库,它的功能很丰富,做个简答的介绍。 httpx是Python新一代的网络请求库,它包含以下特点 特点 基于Python3的功能齐全的http请求模块 既能发送同步请求,也能发送异步请求 支持HTTP/1.1和HTTP/2 能够直接向WSGI应用程序或者ASGI应用程序发送请求 安装 httpx需要Python3.6+(使用异步请求 阅读详情

背景

最近碰到一个神奇的网站,在浏览器可以打开,但是通过 curl 或者 代码访问就直接 403,我估摸着这肯定是做了UA校验,于是请求的时候把浏览器的 UA 给带上,然后访问发现还是 403,不过这也难不倒我,肯定是还有校验其它的请求头,直接浏览器打开 network,把所有的请求头复制过来并且带上,确保我和浏览器在 http 协议层面的请求完全一样,这样不可能会失败了吧,然而运行完发现还是 403。

放个地址: pixabay.com

思考

服务端校验客户端没有什么黑魔法,因为都是通过 TCP 协议通讯,不可能存在浏览器发送一个 HTTP 报文和我发送一个同样的 HTTP 报文服务器能识别出来,既然不是校验的 HTTP 层,那只可能是在 TLS 层校验的,于是祭出wireshark抓包,看看能不能找到 TLS 握手中差异化的东西,众所周知在 TLS 握手时有一个客户端发送给服务端的Client Hello报文,很有可能就是根据它来辨别浏览器和非浏览器请求的,因为在这个报文中,客户端要告诉服务端支持的加密套件,TLS 版本等等信息,而这些信息根据客户端的实现都会有所差异,先抓个正常浏览器请求的报文看看,如下图:

然后再通过 curl 访问抓包,如下图;

可以看到两边的报文确实存在很大的差异,逐一对比排查之后发现很有可能是因为 curl 的请求报文里缺少supported_versions扩展信息导致的 403,浏览器那边在此扩展信息内容如图:

表示支持TLSv1.2和TLSv1.3,而且最终握手之后的协议也是切换到了TLSv1.3,在上面两个对比图可以看到,浏览器走的是TLSv1.3,而 curl 走的是TLSv1.2,可能是一定要使用TLSv1.3才能访问成功。

验证

马上 google 了下如何指定 curl 的 TLS 版本,发现只需要加上--tlsv1.3参数就可以了,如下:

$ curl -I --tlsv1.3 'https://pixabay.com/'  \
> -H 'accept-language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6' \
> -H 'user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.5060.114 Safari/537.36 Edg/103.0.1264.49'
HTTP/2 200
date: Fri, 22 Jul 2022 02:40:35 GMT
content-type: text/html; charset=utf-8
cf-ray: 72e8cffc18c73d5a-HKG
cache-control: s-maxage=86400
content-language: en
vary: Accept-Encoding, Cookie, Accept-Language
cf-cache-status: MISS
content-security-policy: frame-ancestors none
expect-ct: max-age=604800, report-uri="https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct"
referrer-policy: strict-origin-when-cross-origin
x-frame-options: DENY
set-cookie: __cf_bm=Cy4a751rDND6kHhu.RzEr5DpqnaxRdpUxaMfNfkya0A-1658457635-0-AS1DaewDqNjWHZ/m74A88bNyEG0EFsZAwmsm/ON5QQEuh8B6XOS7PkSnhGgXPLV+LtEvzOKTy/WWHmwY63uGlD0=; path=/; expires=Fri, 22-Jul-22 03:10:35 GMT; domain=.pixabay.com; HttpOnly; Secure; SameSite=None
server: cloudflare
alt-svc: h3=":443"; ma=86400, h3-29=":443"; ma=86400

经过反复验证,发现除了要指定tlsv1.3之外,还需要加上accept-language和user-agent头,并且一定得是 http2 协议,三个条件缺一不可。

nodejs 访问

上面说到了一定要走 http2 协议,而现在市面上流行的 http client 基本都是只支持 http1.1,所以只能直接从基础库入手了,官方有一个http2的库,一番调教之后也是成功请求了,代码如下:

const http2 = require("http2");

function get(host, path) {
  return new Promise((resolve, reject) => {
    const session = http2.connect(`https://${host}`, {
      minVersion: "TLSv1.3",
      maxVersion: "TLSv1.3",
    });

    session.on("error", (err) => {
      reject(err);
    });

    const req = session.request({
      [http2.constants.HTTP2_HEADER_AUTHORITY]: host,
      [http2.constants.HTTP2_HEADER_METHOD]: http2.constants.HTTP2_METHOD_GET,
      [http2.constants.HTTP2_HEADER_PATH]: path,
      "user-agent":
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36 Edg/100.0.1185.50",
    });

    req.setEncoding("utf8");
    let data = "";
    req.on("data", (chunk) => {
      data += chunk;
    });
    req.on("end", () => {
      session.close();
      if (data) {
        try {
          resolve(data);
        } catch (e) {
          reject(e);
        }
      }
    });
    req.on("error", (err) => {
      reject(err);
    });
    req.end();
  });
}

(async function () {
  const data = await get("pixabay.com", "/");
  console.log(data);
})();

深入

虽然已经成功请求了,但是本着探索的精神继续深入发现 cloudflare 官方有一篇博客就是专门介绍这个 TLS 拦截技术的,链接如下: blog.cloudflare.com/monsters-in…

其中有一段内容也证明了我的猜想,翻译后如下:

也就是说 cloudflare 会维护一组浏览器的 TLS 指纹,当收到一个 Client Hello 请求时,会检查这组指纹,如果匹配不上,就会拦截这个请求,这样可以拦截掉大部分不是来自浏览器的请求了。

Mythos安全模型:从辅助工具到自主攻防主体的范式跃迁 大语言模型在软件安全领域的应用正经历从‘辅助分析’到‘自主攻防’的本质升级。其核心原理在于融合符号执行、动态验证回路与多专家混合架构,实现对漏洞发现、Exploit生成和系统级因果链的端到端建模。这种能力突破不仅提升了自动化渗透效率,更重构了企业漏洞响应周期、零日资产价值评估及开源维护生态的技术经济逻辑。当前主流技术路径聚焦于长上下文推理、攻防世界镜像训练与推理时增强(RtA)机制,典型代表如Claude Mythos Preview已在真实CTF沙箱与内核级审计中验证其不可逆的攻防成本结构改变能力。 阅读详情

相关推荐

突破神奇的Cloudflare防火墙的网络安全学习

于是请求的时候把浏览器的 UA 给带上,然后访问发现还是 403,不过这也难不倒我,肯定是还有校验其它的请求头,直接浏览器打开 network,把所有的请求头复制过来并且带上,确保我和浏览器在 http 协议层面的请求完全一样,这样不可能会失败了吧,然而运行完发现还是 403。服务端校验客户端没有什么黑魔法,因为都是通过 TCP 协议通讯,不可能存在浏览器发送一个 HTTP 报文和我发送一个同样的 HTTP 报文服务器能识别出来,既然不是校验的 HTTP 层,那只可能是在 TLS 层校验的,于是祭出。

s13596191285的博客 158

Pivix 站爬虫

Python爬虫,p站爬虫

qq_37561898的博客 3458

cloudflare入门之附加 cookie

Cloudflare 使用 cookie 来最大化网络资源、管理流量并保护网站免受恶意流量的侵害。

蛐蛐的博客 2707

403请求问题解决——cloudflare!!!

处理具有cloudflare保护的网站;403错误请求;处理:Sorry, you have been blocked You are unable to access

m0_64117334的博客 3340

CloudflareApiLibrary:在 Java 中使用 Cloudflare API

CloudflareApiLibrary 在 Java 中使用 Cloudflare API API 文档: : 我的 Lib 文档: : This lib allows you to use easier and faster the CloudflareAPI. (Used libs like ApacheHTTP, JSON... are in the "lib" folder) 使用请求的示例: (所有 CloudflareRequests 都在“com.cloudflare.api.requests”包中)`````java CloudflareAccess access = new CloudflareAccess( "CF_MAIL", "CF_APIKEY"); CloudflareRequest request = new CloudflareReq

开发基于GDL235KBQ6开发板的IAP升级程序(HEX协议+串口空闲中断 + DMA接收数据)

使用GDL235kB开发板,实现串口iap升级程序的bootloader代码编写,app为led灯闪烁,并完成通信c代码

zhaozijuncc的博客 648

5秒盾破解,破解cf_clearance

至于JavaScript部分是核心的就不能再透露了。各位也可以按照playwright去搞一下。这里比第三方获取cf_clearance、__cf_bm快多了。第三方获取耗时7-10还得自己验证是否可以。通过playwright可以直接避免哪些问题。playwright启动浏览器(配置好的启动1秒,尽量浏览器端口不关闭就好了,整个流程才有3-5秒)。可以并发去请求但是注意浏览器可能会崩溃(cpu干不过来)。这里完整的JavaScript暂时展示不全。有兴趣的可以给个小爱心。python3.8部署相关模块。

qq_60611058的博客 6901

快手did did_gt edid的注册过程

接口 https://gdfp.ksapisrv.com/rest/infra/gdfp/report/kuaishou/android did 是本地生成的16进制 或者 获取的 android_id did_gt 是did生成时间戳 1595073601970 public static final Random f16237a = new Random(System.currentTimeMillis()); public static long m19668a() {  &n

HURUWO的技术博客 1万+

python爬虫逆向|一次cf检测tls的踩坑分析

不过要注意,上面分析分析的js都属于函数模块,加载器都不在里面,第一步,先找到加载器的js在哪里,这个可以自己看看在哪,这里就不说了,至于特征就是,!分析后发现,原来是检测了node,把所有isNode带判断的地方,都改成false即可,然后运行会报缺少window,补上就好。其实RSA是标准算法,饶了一圈,最后不管是py的RSA套库,还是调用网站js代码的加密结果,只要过了tls检测都能请求成功。搜下关键词,会发现有很多,可疑的位置都打上断点,再重新登录,但是发现都断不到。最后再次登录,嘿,还是403。

weixin_43459158的博客 2665

Unity插件——WebView内嵌网页/浏览器插件

一、相关插件: 1、Embedded Browser 插件(文件夹名ZFBrowserUnity) 2、UniWebView插件 3、UnityAndroidWebviewToTexture插件 4、3D WebView for Android插件 二、遇到的问题: 3D WebView显示问题 项目中使用3D WebView存在的问题 三、插件使用 Embedded Browser 加载页面的使用

青岚岁叶的博客 1万+

Codex入门24-效率倍增秘籍(终极总结:10个让你开发速度翻倍的Codex高级技巧)

专栏收官之作!经过前23篇的系统学习,你已经掌握了 Codex CLI 的核心用法。本文浓缩10个实战验证的高级技巧:管道化提示词将复杂任务拆成递进指令链,模板化 SKILL.md 打造个人技能库,Shell 别名让操作快如闪电,多模型切换省钱又高效……这不是理论课,每个技巧都配有可直接运行的代码。掌握全部10招,构建你的 AI 开发工作流闭环,让开发速度真正翻倍!

yueyeguzhuo的专栏 191

Python爬虫遇到Cloudflare403错误的解决方案

通过使用穿云API,Python开发者可以更轻松地应对Cloudflare的挑战,绕过403错误,确保爬虫的顺利进行。穿云API的强大功能将帮助开发者提高爬虫的成功率和稳定性,带来更加高效的数据采集体验。Python爬虫在访问网站时,经常会遇到Cloudflare返回的403错误,这会影响爬虫的正常运行。通过调用穿云API提供的验证码识别接口,将验证码图片上传至API接口,即可获取识别结果,实现自动化的验证码处理。通过使用稳定高匿名性的代理IP服务商,可以模拟不同的IP地址进行访问,从而减少被封禁的风险。

2631

【WRF-Urban】URBPARM_LCZ.TBL 查找表解释及内容

URBPARM_LCZ.TBL 查找表解释及内容

WW、forever的博客 1754

cloudflare 403 cloudscraper Detected a Cloudflare version 2 Captcha challenge

cloudflare 403 cloudscraper Detected a Cloudflare version 2 Captcha challenge

weixin_43288019的博客 1862

当SLAM遇上FPGA:打造一个会“硬件加速”的激光雷达SLAM系统

点云数据的运动畸变校正特征点提取与匹配、以及ICP迭代最近点配准。在传统方案中,我们通常用ARM核完成所有计算。但点云配准中的最近邻搜索(KD-Tree)需要大量分支判断,CPU处理起来效率很低;而ICP中的矩阵分解(SVD)虽然计算量大,但非常适合并行化。ZYNQ的特殊之处在于它把ARM(PS端)和FPGA(PL端)集成在同一颗芯片上。ARM擅长跑操作系统、处理复杂逻辑和调度,FPGA擅长做高吞吐量的并行计算。两者之间通过AXI总线高速互联,数据交换延迟只有几十个时钟周期。

QQ_778132974的博客 378

AI游戏制作07——波次计时器,敌人按波次生成

AI游戏制作07——波次计时器,敌人按波次生成

qq_40572023的博客 49

解决宝塔面板Nginx反向代理Cloudflare出现502或403错误

首先源站配置好SSL证书,然后去Cloudflare开启SSL(默认开启) 然后宝塔面板 - 站点设置 - 反向代理 - 配置文件,在 location / { proxy_pass https://www.domain.com; proxy_set_header Host www.domain.com; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add...

plfx1314的博客 1万+

复制幻灯片到另一个PPT编程

请确保将源PPT文件和目标PPT文件的文件名修改为你实际使用的文件名。运行上述代码后,目标PPT将包含源PPT中的所有幻灯片和形状。这里假设源PPT文件名为"source.pptx",目标PPT文件名为"target.pptx"。方法将每个幻灯片的布局添加到目标PPT中。是一个强大的库,可以用于创建、修改和操作PPT文件。要将一个PPT中的幻灯片复制到另一个PPT,可以使用Python的。这段代码遍历源PPT的每个幻灯片,并使用。步骤 3: 打开源PPT和目标PPT。这将保存修改后的目标PPT文件。

ByteSparkX的博客 1322

Java自动访问Cloudflare_利用CloudFlare自动DDNS

注意要 仅限 DNS先在控制面板找到咱的目前IP,然后到Cloudflare中新建一个A记录,如:ddns.yourdomain.com,指向咱的当前IP下载脚本1 wget https://raw.githubusercontent.com/yulewang/cloudflare-api-v4-ddns/master/cf-v4-ddns.sh这里需要填写一个能返回咱的当前IP的网页地址,下面提...

weixin_29001683的博客 1118

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

爬虫受限于403、503错误?尝试使用代理模式绕过Cloudflare

我们在开发爬虫过程中,经常会遇到网站返回403、503错误的情况。这些错误往往是网站为了防止恶意爬取而设置的限制。而近年来,越来越多的网站开始使用Cloudflare等CDN服务来保护自身。尽管这些服务能有效地抵御恶意流量,但对于合法的爬虫也带来了一定的挑战。在面对这些限制时,我尝试使用代理模式来绕过Cloudflare的阻挡,以便顺利完成爬取任务。

qq_36813470的博客 2404

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

突破CloudFlare五秒盾限制的方法揭秘

CloudFlare是一家知名的CDN(内容分发网络)服务商,其五秒盾机制是一种DDoS防护工具。它的原理是对于频繁访问同一网站的请求,CloudFlare会在短时间内拒绝大量请求,只保留部分合法的流量通过,从而有效减轻服务器的压力。然而,这也可能会影响到合法爬虫的正常数据采集。

qq_36813470的博客 3760

绕过CloudFlare安全防护,用一个穿云API就够了。

穿云API利用多种技术来识别CloudFlare背后的真实IP,并管理相关数据。尽管这个工具刚刚问世,但我们认为它在我们自己的渗透测试中非常有用,因此我们决定将其介绍给社区,希望它可以帮助更多的人,并能发现更多云服务供应商(如AWS Cloudfront)的配置错误。使用穿云API绕过CloudFlare01.注册注册穿云API账号,点击立即注册02.购买套餐根据需求选择套餐购买03.调用接口API文档。

cloudbypass的博客 4055

成功绕过Cloudflare验证的秘密方法

随着互联网的发展,网站安全成为了一个重要的问题。为了保护网站免受恶意爬虫和网络攻击的侵害,许多网站采用了Cloudflare防火墙来加强安全性。然而,这也给合法爬虫带来了困扰。本文将分享一些非凡的技巧,帮助爬虫成功绕过Cloudflare验证,实现有效的数据采集。

1万+

django cloudflare csrf 403

网站套了cloudflare flare发现登录接口403了,csrf验证失败,CSRF_TRUSTED_ORIGINS=[“网站域名.com”]debug设置为False。

wangjinyu124419的博客 1665

使用CloudFlare后如何才能不影响搜索引擎蜘蛛爬虫

今天,给大家再次详细讲解一下,在使用 CloudFlare 后如何才能不影响搜索引擎蜘蛛爬虫对站点的抓取,因为这是很多首次使用 CloudFlare 的站长们容易忽略和触犯的问题,并不是 CloudFlare 不友好,而是 CloudFlare 的防火墙(WAF)实在是太给力。目前,我发现到的 CloudFlare 影响搜索引擎爬虫的只有两个地方,理论上只要这两个地方配置好了,任何搜索引擎爬虫都是可以畅通无阻的来你的站点抓取的,并且每次来访蜘蛛爬虫都可以在 CloudFlare 后台【】——【

大模型研究中心 3035

PHP绕过Cloudflare防护的实用指南

从了解Cloudflare的工作原理到使用代理服务器、模拟用户行为和使用穿云API等方法,我们将全面探讨如何应对不同的情况,绕过Cloudflare的防护,实现顺畅的访问和数据采集。通过将请求发送到代理服务器,并由代理服务器转发请求到目标网站,我们可以隐藏真实的请求来源,绕过Cloudflare的防护。作为一种全面的解决方案,穿云API为我们提供了更便捷、稳定和高效的方式来绕过Cloudflare的防护。穿云API将根据您提供的参数,智能识别并绕过Cloudflare的防护,将目标网站的内容返回给您。

TG_punkll的博客 873
上一篇: 从Architecture带你认识JVM
下一篇: 一篇搞定CAS,深度讲解,面试实践必备
Java技术那些事儿
博客等级 码龄5年 2306粉丝 2584原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值