使用curl_cffi模拟浏览器请求

已于 2024-05-11 15:37:41 修改
阅读量575 收藏
点赞数 2
文章标签： python 爬虫
于 2024-05-11 15:21:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wangdianyong/article/details/138717354
版权
movie__movie
关注
使用Python绕过五秒盾反爬虫防护实战
吴秋霖的博客
11-03 8275
除了FlareSolverr之外的又一种绕过FlareSolverr爬虫防护解决方案！更加简单与便捷
爬虫：一文掌握 curl-cffi 的详细使用（支持 TLS/JA3 指纹仿真的 cURL 库）
数据知道的博客
04-14 4496
curl_cffi是一个 Python 库，它通过 CFFI（C Foreign Function Interface）绑定提供了 libcurl 的功能，并增加了对抗 TLS 指纹检测的能力（如 JA3 指纹）。它提供了比标准pycurl更简单、更 Pythonic 的 API，同时保持了 libcurl 的强大功能。
使用 curl_cffi 解决 Web 抓取中的 TLS/JA3 指纹识别方法
守城小轩的技术窝棚
03-26 1052
curl_cffi是专门为网络请求设计的 Python 库，与requests和httpx等库有着相似的用途。然而，curl_cffi具有独特的优势，它可以模拟浏览器 TLS/JA3 和 HTTP/2 指纹。是一个强大的命令行工具，能够模拟四种主要浏览器的行为，并像真实浏览器一样执行 TLS 和 HTTP 握手。curl_cffi巧妙地使用cffi将包装成了 Python 库，从而让我们可以在 Python 环境中方便地使用这些功能。如今，大多数网站都采用了 HTTPS 协议来保障数据传输的安全性。
探索高效伪装——curl_cffi：模拟浏览器指纹的HTTP客户端
gitblog_00689的博客
08-09 2480
探索高效伪装——curl_cffi：模拟浏览器指纹的HTTP客户端 项目地址:https://gitcode.com/gh_mirrors/cu/curl_cffi 在网络世界中，有时候我们需要悄无声息地穿越障碍，而curl_cffi正是为此设计的一个强大工具。这个开源Python项目为你提供了全新的方式去应对那些挑剔的服务器，它们可能会因为检测到非标准的HTTP客户端而将你拒之门外。本文将带你深...
[615]curl_cffi支持原生模拟浏览器TLS/JA3指纹的python库
周小董
05-01 871
不同的客户端之间的差异 很大，而且一般这些信息还都是稳定的，所以服务端就可以根据 TLS 的握手信息来作为特征，识别 一个请求是普通的用户浏览器访问，还是来自 Python 脚本等的自动化访问。所以， 纯 Python 的库，比如 requests 和 httpx，再怎么改也不可能改成和 Chrome 一样的指纹，必须 使用第三方的 C 扩展库，才能够实现完美模拟浏览器指纹。不同网站的生成的指纹可能有差异，但是多次访问同一个网站生成的指纹是稳定的，而且能区分开 不同客户端。显然，防御等级分 两个层次。
curl_cffi 项目安装和配置指南
gitblog_07255的博客
09-13 982
curl_cffi 项目安装和配置指南 curl_cffi Python binding for curl-impersonate via cffi. A http client that can impersonate browser tls/ja3/http2 fingerprints. ...
在 Python 中使用 curl_cffi 进行网络爬虫
亮数据 Bright Data 的博客
02-28 3247
在本指南中，你将学习到： * curl_cffi 是什么以及它所提供的特性 * 它是如何通过最小化基于 TLS 指纹的机器人检测来躲避反爬虫的 * 如何在 Python 中配合它进行网络爬虫 * 高级用法和方法 * 与其他类似 HTTP 客户端的对比 让我们开始吧！
Python curl_cffi教程
m0_61173140的博客
09-04 1226
支持python3.8及以上版本，能解决ja3，akamai等指纹问题。
curl_cffi: 支持原生模拟浏览器 TLS/JA3 指纹的 Python 库
resphina的博客
08-26 2447
curl_cffi: 支持原生模拟浏览器 TLS/JA3 指纹的 Python 库
最新claude逆向，使用curl_cffi 绕过指纹识别
resphina的博客
08-26 4019
claude最新逆向
新手教学系列——MacOS 10.13.6下如何使用curl_cffi模拟Chrome请求
weixin_41701856的博客
09-29 1481
curl_cffi是一个基于C语言的libcurl库的Python封装，其特别之处在于它底层依赖了。是一个针对绕过反爬虫机制的工具，通过模仿真实浏览器请求，可以最大程度地避免被服务器检测到。与我们熟悉的requests或aiohttp库相比，curl_cffi不仅支持同步和异步的请求，还能精确地模拟浏览器（尤其是Chrome）的行为，这使它在绕过复杂的防爬虫系统时有明显优势。通过本文的介绍，你应该能够在MacOS 10.13.6下顺利安装并使用curl_cffi。尽管安装过程涉及手动编译。
curl_cffi：支持原生模拟浏览器 TLS/JA3 指纹的 Python 库
qq_540710991的博客
01-03 1469
指纹技术 可以说应用到了 OSI 网络模型中所有可能的层，基于 HTTP header 顺序的指纹工作在第七层应用层， SSL/TLS 指纹工作在传输层和应用层之间，TCP 指纹在第四层传输层。不同的客户端之间的差异 很大，而且一般这些信息还都是稳定的，所以服务端就可以根据 TLS 的握手信息来作为特征，识别 一个请求是普通的用户浏览器访问，还是来自 Python 脚本等的自动化访问。不同网站的生成的指纹可能有差异，但是多次访问同一个网站生成的指纹是稳定的，而且能区分开 不同客户端。
使用 curl_cffi 在 Python 中进行网络爬虫
最新发布
亮数据 Bright Data 的博客
05-30 1009
curl_cffi。
curl_cffi 项目使用教程
gitblog_00526的博客
08-09 1125
curl_cffi 项目使用教程 项目地址:https://gitcode.com/gh_mirrors/cu/curl_cffi 1. 项目的目录结构及介绍 curl_cffi 项目的目录结构如下： curl_cffi/ ├── curl_cffi/ │ ├── __init__.py │ ├── _wrapper.py │ ├── _cffi_backend.py │ ├── ...
探索高效网络工具：`curl_cffi` - Python版CURL库的革命性实现
gitblog_00044的博客
04-09 1028
探索高效网络工具：curl_cffi - Python版CURL库的革命性实现 curl_cffiPython binding for curl-impersonate via cffi. A http client that can impersonate browser tls/ja3/http2 fingerprints.项目地址:https://gitcode.com/gh_mirror...
curl 模拟浏览器和X-Forward-IP
m0_37159393的博客
03-20 1340
http请求头部（header）详解-优快云博客常见的请求头部字段以下是一些常见的HTTP请求头部字段的详解：GET：此方法用于请求指定的资源。GET请求应该安全且幂等，即多次执行相同的GET请求应该产生相同的结果。POST：此方法用于向指定的资源提交数据，以便根据所提供的数据创建/更新资源。POST请求不是幂等的，每次执行相同的POST请求可能会产生不同的结果。PUT：此方法用于完整地更新指定的资源。由于PUT请求是幂等的，多次执行相同的PUT请求应该产生相同的结果。
记录curl_cffi使用https代理访问的坑
qq_50512496的博客
05-23 3131
查看源代码得知/etc/ssl/certs/ca-certificates.crt为ubuntu系统路径，但是服务器为centos系统，路径应为/etc/pki/tls/certs/ca-bundle.crt.然后我尝试设置verify="/etc/pki/tls/certs/ca-bundle.crt"和curl路径为/etc/pki/tls/certs/ca-bundle.crt都报这个错。没错，他的https设置的代理是http协议，我最开始以为是他写错了。
新手教学系列——用curl_cffi实现文件上传：同步与异步全解析
weixin_41701856的博客
11-08 1404
curl_cffi是一个基于 cURL 和 CFFI 的高性能 HTTP 库，结合了底层的 cURL 功能和 Python 的便捷接口。相比requestscurl_cffi在性能、并发能力和灵活性方面有显著优势。通过本文，你已经掌握了如何利用curl_cffi实现高效的文件上传。无论是简单的单文件上传，还是复杂的多文件异步场景，它都能助你一臂之力。希望你能在项目中尝试这些技巧，为你的代码性能带来质的提升。
auth_url = "https://reg.usps.com/entreg/json/AuthenticateAction" headers = { "Connection": "keep-alive", "Accept": "*/*", "Content-Type": "application/json; charset=UTF-8", # 必须与发送的数据格式一致 # "Cache-Control": "max-age=0", "Sec-ch-ua": '"Chromium";v="134", "Not:A-Brand";v="24", "Google Chrome";v="134"', "Sec-ch-ua-mobile": "?0", "Sec-ch-ua-platform": '"Linux"', "Sec-Fetch-Site": "same-origin", "User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36", "Cookie": "TLTSID=4e5396f3d77f16638b0600e0ed96ae55; reg-entreg=ffffffff3b22206b45525d5f4f58455e445a4a4212d3; NSC_d.tt1_443=ffffffff2198c58945525d5f4f58455e445a4a42378b; _gcl_au=1.1.135541022.1743605114; mab_usps=32; tmab_usps=83; _ga=GA1.1.833753698.1743605115; mdLogger=false; uosLNeRegXVyDVaY=9601b61b4d76be0655ec7fdadb356a63824bc47ced4cb400cc7f6d29776a3b3812948fb9608fcc55cfe37a7de06b57a9794eed8da5769a25ed6e0fb945154a87; ak_bmsc=AE74815066F721963DEC64EB4825AEEB~000000000000000000000000000000~YAAQaz0xF2b8APqVAQAAvx89+hvetxBy/OcP2fW++jr4hxJfdiCTHIfTETkA1x3jq3rNH2Twt+U86tZ3oYZQ9gbSrDkuMiWu+ZMdKambDmGbsZPyU0dmcbQzObzctjGn3YaicaOqvF9SXHSxn21zyNzS3KhpHMY726pSeqXCFfpGN7kBQChCpLQrJq4MJACHfGKaowk770KsjdomiduOUpu/+7JLE4jslLXBklJnzhnD+dLBGtwgq3WXFwVu//xTlbhdApBUIUTrB31OoY7lyr7TVbV4M+HzPRhQEM5zct2pq+berrFg/lmOvIS4cPaKWAJCPbxEQZKxhOJm8KK8zBxc897pSMWvfBU=; EntRegName=Michale||Li; EntRegPrefs=lang=en; o59a9A4Gx=A4mV9vaVAQAAVWeASDnX-Xyy27X1sj1uIXfXU4Ucr1HD01-Y4xAdIMV89lVtASWA9mSuckX5wH8AAEB3AAAAAA|1|0|fc6d67bc1f76bd944e0f366634fbea6d656afa09; _ga_QM3XHZ2B95=GS1.1.1743660064.4.1.1743662154.0.0.0; JSESSIONID=0000A_4rSxwbnR_ZR3V57cje37b:1cn707vkr; bTNsZJBqwVewZTem=c5de2cbbf18e9f14c97e03096b3ff128e749780ff7b14176d1e3497a7b6d05bff13ef4aaed59ccc834cbc1899b6ad001b5c550333aa122d427a8c6e9776a13b8; bm_sv=354475CF54520C6DE195ACE1614F74E0~YAAQkPnLF3vZofmVAQAAcipd+huRXahY/A16X+oE3MEcB9DavjXYoCj2fb0ra8M8QRPX97zesM+S5ebR4ReIe6dfLVfQHTyf4whGMYpEfU0Q8PX3FkLvkbjoe4RfuCtxmwV0uWmeyR1gTZ8HHNCoVj5hLgBwBCzu3vifMyiiRDi5YxmPHM+ZdkTFtqt2QXeEvKYcD7XQuGHoIZEOQNaVgch6/2cwPjxX1A+I4X363w7B5NyrXyi6Re2CRC+P5AA=~1; _ga_3NXP3C8S9V=GS1.1.1743660064.4.1.1743662168.0.0.0; kampyleUserSession=1743662170111; kampyleUserSessionsCount=11; kampyleSessionPageCounter=1; _ga_7TB0KSCYX9=GS1.1.1743662169.6.1.1743662229.0.0.0; _ga_CSLL4ZEK4L=GS1.1.1743660064.4.1.1743662229.0.0.0", "Accept-Encoding": "gzip, deflate, br, zstd", "Accept-Language": "zh-CN,zh;q=0.9", "x-requested-with": "XMLHttpRequest", } session = requests.Session() try: # 发送禁止重定向的 POST 请求 resp = session.post( auth_url, headers=headers, data=data, proxies=proxies, # allow_redirects=False, # 核心控制参数 # timeout=10 # 建议添加超时 ) # print(resp.history[0].text) # 打印关键调试信息 print("=" * 30) print(f"状态码: {resp.status_code}") print(f"响应头: {resp.headers}") print(f"Location 头: {resp.headers.get('Location', '无')}") # 解析响应体（JSON 或原始文本） try: response_data = resp.json() print("JSON 响应体:", response_data) except requests.exceptions.JSONDecodeError: pass print("原始文本响应体:", resp.text[0:100]) print("=" * 30) except requests.exceptions.RequestException as e: print(f"请求异常: {str(e)}") 原始文本响应体: <!DOCTYPE html PUBLIC "" ""> <html><head><META http-equiv="Content-Type" content="text/html; char
04-04
<think>嗯，我现在需要分析用户提供的这段代码，看看为什么在访问美国邮政服务（USPS）的认证接口时，返回的响应体是HTML内容而不是预期的JSON数据。首先，用户使用的URL是auth_url = "https://reg.usps.com/entreg/json/AuthenticateAction"，看起来是用于认证的API端点。代码中设置了headers，包括Content-Type为application/json，这可能意味着他们在发送JSON数据。用户使用了requests库的Session对象发送POST请求，但响应却返回了HTML，这可能意味着认证失败或者请求被重定向到了登录页面。 首先，我需要检查请求是否正确构造。用户提供的headers看起来比较完整，包括User-Agent和一些安全相关的头信息，还有较长的Cookie。可能存在的问题是Cookie的有效性。如果Cookie过期或无效，服务器可能会拒绝请求，转而返回登录页面的HTML。此外，代码中注释掉了allow_redirects=False，这意味着允许重定向。如果认证失败，服务器可能会重定向到登录页面，导致响应内容为HTML。需要确认是否应该禁止重定向，以便查看原始响应。 另一个可能性是发送的数据格式是否正确。用户提到data变量，但在代码中没有提供data的内容。如果data不是正确的JSON格式，或者缺少必要的字段（比如用户名、密码），服务器可能无法处理请求，从而返回错误页面。此外，检查请求的URL是否正确，可能接口已经更新，或者需要特定的参数。 还要考虑反爬虫机制。USPS可能有检测自动化请求的措施，比如验证请求头中的某些字段，检查User-Agent是否真实，或者使用CAPTCHA。用户的User-Agent看起来是Chrome在Linux上的，但有些网站可能会对非浏览器环境或可疑的请求头进行拦截。此外，大量的Cookie可能存在问题，如果某些Cookie失效或需要更新，可能导致认证失败。 另外，响应体的开头有，这是字节顺序标记（BOM），常见于UTF-8编码的文件。可能服务器返回的响应编码不是预期的UTF-8，导致解析时出现乱码。可以尝试检查响应的编码设置，或者手动指定编码格式。 建议用户逐步排查问题：首先确认data是否正确，确保发送的是有效的JSON数据；然后检查Cookie是否有效，可能需要重新登录获取新的Cookie；接着尝试禁止重定向，查看初始响应是否包含错误信息；最后，检查是否有反爬机制，考虑添加更真实的请求头或使用其他反反爬措施。</think>以下是针对你提供的代码和问题的分析及解决步骤： --- ### **一、现象解析** 你收到包含`<!DOCTYPE html`的HTML响应，说明： 1. **认证失败**：服务器未接受你的请求参数，返回了登录页面 2. **重定向触发**：响应状态码可能为`3xx`，但代码未正确处理重定向 3. **反爬机制**：USPS可能检测到自动化请求特征（如非常规Header组合） --- ### **二、关键问题排查点** #### **1. Cookie失效** - 🔍 观察点：Cookie中包含`JSESSIONID`和`TLTSID`等会话标识 - ❗ 问题：长Cookie字符串可能包含过期值（如`_ga`等统计跟踪ID） - ✅ 建议： - 删除所有Cookie，重新通过浏览器登录获取新Cookie - 优先保留关键会话Cookie： ```python headers["Cookie"] = "TLTSID=...; JSESSIONID=...;" ``` #### **2. 重定向处理** - 🔍 当前代码：`allow_redirects=False`被注释 - ❗ 问题：若认证失败，服务器返回`302`跳转到登录页 - ✅ 修复： ```python resp = session.post(..., allow_redirects=False) # 禁止自动重定向 ``` - 通过检查`resp.status_code`和`Location`头确认跳转逻辑 #### **3. 请求数据验证** - 🔍 缺失信息：代码中未展示`data`变量内容 - ✅ 需确保请求体为合法JSON且包含必要字段： ```python data = json.dumps({ "username": "encryptedValue", # 观察浏览器实际加密方式 "password": "encryptedValue", "token": "..." # 可能需要动态获取 }) ``` #### **4. Headers优化** - ❗ 风险点：`Accept-Encoding`包含`zstd`可能引发解码问题 - ✅ 修改建议： ```python "Accept-Encoding": "gzip, deflate, br" # 移除zstd # 添加动态生成的X-CSRF-Token ``` --- ### **三、调试建议** #### **步骤1：模拟浏览器请求** 通过Chrome开发者工具： 1. 正常登录USPS网站 2. 在Network标签中捕获`AuthenticateAction`请求 3. 对比以下关键差异： - 请求头顺序 - Cookie更新机制 - 加密参数（常见于密码字段） #### **步骤2：响应分析代码改进** ```python # 添加响应编码强制处理（针对BOM字符） resp.encoding = "utf-8-sig" if resp.text.startswith("\ufeff") else "utf-8" print("完整响应文本:", resp.text) ``` --- ### **四、反爬对抗策略** | 检测维度 | 应对方法 | |----------------|---------------------------------| | TLS指纹 | 使用`curl_cffi`库模拟浏览器指纹 | | 请求头完整性 | 保持与浏览器完全一致的Header顺序 | | 行为分析 | 添加随机操作延迟(0.5-2秒) | --- ### **五、完整修复示例** ```python # 精简后的有效Headers essential_headers = { "Content-Type": "application/json; charset=UTF-8", "User-Agent": headers["User-Agent"], # 保留核心UA "Cookie": "TLTSID=...; JSESSIONID=...", # 动态更新的会话Cookie "x-requested-with": "XMLHttpRequest" } # 加密后的有效请求体（需通过逆向分析获取） data = { "credentials": { "username": {"value": "ENCRYPTED_DATA"}, "password": {"value": "ENCRYPTED_DATA"} } } resp = session.post( auth_url, headers=essential_headers, json=data, # 自动序列化为JSON allow_redirects=False, timeout=15 ) ``` --- 若问题仍未解决，建议通过浏览器抓包获取完整的加密参数传输流程，重点检查是否有动态token或客户端加密逻辑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值