解决Drissionpage无头模式拿不到数据

原创 已于 2025-07-11 15:49:26 修改 · 221 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #爬虫

于 2025-07-07 16:07:23 首次发布

原理：无头模式下不会显示原型界面，但是网址会检测浏览器环境特征，有头的就会显示window.chrome,无头的就会没有。

解决方案：

co = ChromiumOptions().headless(True)  # 这个地方必须设置
co.set_paths(local_port=9111)  # 指定调试端口
co.set_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36') # 必须增加一个user-agent
co.set_argument('--headless=new')       # 新的无头模式（Chrome 109+）

主要设置了一个.headless(True)和增加一个User Agent，这样原本抓取不到的内容就可以用无头模式抓到了

如何通过drissionpage过瑞数3/4/5/6/vmp各个版本的反爬视频+学习代码
十一姐的博客
04-30 2473
如何通过自动化过瑞数3/4/5/6/vmp版本的反爬
无界面 centOS 中使用 DrissionPage
cz_布衣的博客
04-12 2797
DrissionPage 是一个基于 python 的网页自动化工具。它既能控制浏览器，也能收发数据包，还能把两者合而为一。可兼顾浏览器自动化的便利性和 requests 的高效率。它功能强大，内置无数人性化设计和便捷功能。它的语法简洁而优雅，代码量少，对新手友好。详情及使用方法见官网。
drissionpage设置无头模式new模式
i_9420的博客
04-02 3149
可以根据这个设置浏览器无头的NEW模式，据说NEW模式访问速度会有一定的加速，不知道抵抗检测的效果如何，有空的可以自己测试。开始以为是我的元素查找报错，后面用了截图发现，无头模式被 WS 的CDN拦截，导致403.最近朋友介绍，所以在使用drissionpage调试项目。但是一旦切换打无头模式，报错，找不到元素什么的。写代码的时候是在有脸模式写的，一切正常。自然就读取不到需要的信息，然后报错。
DrissionPage的各种运行模式
ftpeak
02-01 2161
DrissionPage作为一个灵活的爬虫工具，提供了匿名模式、无头模式和沙盒模式，分别应对浏览器的无痕运行、浏览器静默运行（浏览器不显示、不渲染）、系统对浏览器的防护。是DrissionPage的最重要特征。
【python】DrissionPage库介绍
MAOZI8的博客
07-03 1001
DrissionPage是一个基于Puppeteer的Python库，设计用于Web自动化和爬虫开发。它提供了一个简单易用的接口，允许你控制和操作无头或有头的Chrome或Chromium浏览器。DrissionPage的主要优势在于它能够处理现代Web页面的动态内容，这在传统静态网页抓取工具如Requests或BeautifulSoup中是难以实现的。
做自动化&数据采集你应该了解DrissionPage
wu73guang5jian的博客
10-17 2911
DrissionPage 以其多种驱动模式、简洁的 API 和增强的功能，在网页自动化操作领域具有显著的优势。它不仅能够满足不同场景下的需求，还能提高开发效率和工作效率。无论是数据采集、自动化测试还是网页交互自动化，DrissionPage 都能为用户提供强大的支持。灵活性：多种驱动模式和丰富的 API 使得 DrissionPage 能够适应各种复杂的网页环境和需求。用户可以根据具体情况选择合适的驱动模式和定位方式，实现灵活的网页自动化操作。高效性。
DrissionPage框架应用
网络爬虫开发
06-20 1758
但是以上都有被检测的风险，新晋浏览器防检测工具，不仅不需要繁琐的安装浏览器的内核，也不需要为浏览器升级后带来的版本不支持烦劳了。它可以自动调用我们本地的浏览器执行网络请求；在我们遇到一些不好处理的反爬虫的情况下，就可以使用这个工具帮助我们模拟人类的操作，达到获取数据的结果；但是我们在本地运行没有问题，线上就没办法运行，这是因为我们的dp会自动调用我们本地已有的浏览器执行网络请求，但是部署到线上服务器后，新的服务器没有安装浏览器，这个时候我就需要使用远程浏览器调用作为第三方的转发请求了。
【python】使用 DrissionPage 库进行网页自动化操作和数据提取
萧鼎的博客
11-18 5448
是一个基于Selenium和Requests的自动化网页操作库。它简化了 Web 页面元素的交互，提供了对元素定位、表单填写、截图等常见操作的支持。与传统的 Selenium 和 Requests 等库相比，DrissionPage 在API设计上更加简洁和易用。该库的一个关键特点是，它结合了 Selenium 和 Requests 两者的优势。Selenium适用于需要进行动态渲染的网页（例如JavaScript生成的内容），而Requests适合用于处理静态网页。通过两者的结合，
自学Python第十八天-自动化测试框架（二）：DrissionPage、appium
runsong911的博客
02-22 7501
根据不同的配置，可以接管已打开的浏览器，也可以启动新的浏览器。另外，如果是想临时切换浏览器路径以尝试运行和操作是否正常，可以去掉 .save()，以如下方式结合第1️⃣步的代码。如果要控制浏览器，需设置浏览器路径。DrissionPage使用了一套简洁的语法用于查找元素，支持内置等待、链式查找，同时也支持 css selector、xpath、selenium 原生的 loc 元组。方法查找到，并且可以穿透 iframe 标签进行操作(页面对象支持跨级查找，元素对象并不支持)，但是不建议这样使用。
drissionpage知识整理与某数等反爬产品绕过实战
九月镇灵将的博客
01-08 2311
DrissionPage是一个基于 Python 的网页自动化工具。既能控制浏览器，也能收发数据包，还能把两者合而为一。可兼顾浏览器自动化的便利性和 requests 的高效率。功能强大，语法简洁优雅，代码量少，对新手友好。
DrissionPage自动化取不到完整数据
03-24
在涉及身份验证的应用程序中，如果没有妥善管理cookies或者其他形式的身份令牌，那么即使成功访问到了URL地址也可能得不到期望的结果集。 - **解决办法**: 利用已有的用户资料文件夹路径启动新的实例从而保留原有的...
同时安装了 Python 3.8.20 和 Python 3.12.3如何指定默认版本
m0_71071763的博客
07-22 259
0 /usr/bin/python3.12 2 自动模式。1 /usr/bin/python3.12 2 手动模式。2 /usr/bin/python3.8 1 手动模式。有 2 个候选项可用于替换 python3 (提供 /usr/bin/python3)。要维持当前值[*]请按<回车键>，或者键入选择的编号：2。
深入解析与实战应用：利用Python和Amazon Product Advertising API实战分析
2503_92516413的博客
07-21 742
在电商平台的运营中，关键词搜索接口是不可或缺的一部分，特别是在亚马逊这样的全球电商平台。请注意，你需要将<你的API_KEY>和<你的API_SECRET>替换为实际获取的API密钥。为了使用亚马逊的API接口，你需要获取API密钥，这包括API密钥（Key）和API密钥密文（Secret）。首先，你需要访问亚马逊开发者中心，注册一个开发者账号，并获取相应的API权限。API限制：亚马逊的API可能有请求频率限制，确保你的请求频率符合其规定，以避免被封禁。API_KEY = '<你的API_KEY>'
写个 flask todo app，简洁，实用
waterHBO的博客
07-22 1235
这是一个基于 Flask 框架开发的现代化 Todo 应用，专为个人任务管理而设计。应用采用简洁的界面设计和直观的操作方式，帮助用户高效管理日常任务。这个 Flask Todo 应用虽然功能简洁，但涵盖了任务管理的核心需求。它不仅是一个实用的工具，也是学习 Flask 全栈开发的优秀示例。无论是个人使用还是作为学习项目，都具有很好的实用价值。项目代码结构清晰，易于理解和扩展，是 Web 开发初学者和有经验开发者的理想选择。
时间序列预测Python机器学习应用
木头大左的博客
07-23 1050
时间依赖性：当前值受过去值的影响。趋势性：数据可能呈现长期上升或下降的趋势。季节性：数据在固定周期内重复出现的模式。噪声：随机波动，无明显规律。
在Ubuntu安装vnpy教程（最新）
猿小白的博客
07-22 63
VeighNa量化交易框架在Ubuntu的安装指南 VeighNa是一个基于Python的量化交易开发框架，提供从API对接到策略自动交易的全流程解决方案。本文详细介绍了在Ubuntu系统上安装VeighNa的步骤： 下载4.1.0版本源码 安装系统依赖项 解压文件 执行安装脚本 通过run.py启动程序 安装前需确保已安装Python3环境，推荐使用Miniconda3。该框架支持多种金融市场，提供策略开发、回测、风险管理等功能，适合快速开发量化交易策略。
Python Matplotlib中的fontdict参数说明
The @MMiL algoDves & programming space
07-21 63
本文介绍了Matplotlib中fontdict参数的使用方法，该参数通过字典形式定义文本属性，包括字体、颜色、大小等样式。文章提供了具体示例展示如何为标题和坐标轴标签应用不同的字体样式，并说明了通过fontdict与rcParams两种方式设置文本属性的区别。此外，还提到fontdict可以与其他文本参数结合使用，实现更灵活的文本样式控制。这些方法能帮助用户自定义图表中的文本显示效果，提升可视化质量。
利用遥感和 Python 追踪休斯顿的绿化覆盖率（基于卫星 NDVI）
最新发布
gis收藏家的博客
07-24 207
具体来说，就是用 Sentinel-2 2A 级影像，将第 8 波段减去第 4 波段，再除以它们的和。你所看到的是休斯顿的绿意盎然，以及这片绿意栖息的土地。Sentinel-2 非常棒，因为它可以免费获得 10 米分辨率的数据，并且每 5 天提供一次覆盖全球的数据。得益于欧洲航天局的哨兵二号卫星和免费提供的哥白尼数据，我们现在可以逐像素地追踪城市绿化覆盖的细微变化。因此，这类遥感技术的入门门槛很低。在休斯顿这样的地方，开发向外延伸到低密度绿地区域，它是一种追踪我们经常忽略的东西的工具：我们建造的东西。
Python开发环境PyCharm下载与安装教程（附安装包） 2025最新版详细图文安装教程
psgogogo2025的博客
07-21 975
通过以上步骤，你已经成功完成了Python开发环境的搭建，包括Python 3.13.0的安装和PyCharm编辑器的配置。现在你可以开始编写更多有趣的Python代码，正式踏上编程学习的精彩旅程了！这只是开始，后面还有更多精彩等着你！hon开发环境的搭建，包括Python 3.13.0的安装和PyCharm编辑器的配置。现在你可以开始编写更多有趣的Python代码，正式踏上编程学习的精彩旅程了！这只是开始，后面还有更多精彩等着你！
drissionpage无头模式过滑块
02-14
### 实现 DrissionPage 无头模式下的滑块验证 为了在 DrissionPage 的无头浏览器环境中成功处理滑块验证，可以采用图像识别技术来计算滑动距离，并模拟真实的拖拽动作。以下是具体的方法： #### 使用 OpenCV 进行图像匹配 由于直接获取的缺口图片可能不精确，因此需要更精细地处理图像以提高准确性。OpenCV 是一种强大的计算机视觉库，可以帮助分析和比较两张图片之间的差异。 ```python import cv2 import numpy as np def get_slider_distance(bg_image_path, slider_image_path): bg_img = cv2.imread(bg_image_path, 0) slider_img = cv2.imread(slider_image_path, 0) result = cv2.matchTemplate(bg_img, slider_img, cv2.TM_CCOEFF_NORMED) min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(result) top_left = max_loc bottom_right = (top_left[0] + w, top_left[1] + h) distance = int((bottom_right[0] - top_left[0]) / 2) # 计算中心位置作为移动距离 return distance ``` 此函数读取背景图与滑块图，利用模板匹配算法找到最佳匹配区域的位置，进而得出滑块应被拖动的距离[^2]。 #### 控制浏览器执行操作 接下来，在无头模式下启动 Chrome 浏览器实例并通过 JavaScript 执行拖放行为。这里假设已经安装好 `drissionpage` 库并且导入了必要的模块。 ```python from drission.page import ChromiumPage with ChromiumPage(headless=True) as page: url = '目标网站URL' page.get(url) # 获取验证码元素 slider_element = page.ele('css_selector_for_slider') # 假设已保存了背景图路径bg_image_path 和 滑块图路径slider_image_path move_distance = get_slider_distance(bg_image_path, slider_image_path) action_chain = ActionChains(page.driver) action_chain.click_and_hold(slider_element).perform() while True: try: action_chain.move_by_offset(move_distance, 0).release().perform() break except Exception as e: continue ``` 这段代码展示了如何创建一个无头浏览器会话，访问指定网页加载页面后定位到滑块控件，调用之前定义好的 `get_slider_distance()` 函数获得偏移量，最后通过 Selenium WebDriver 提供的动作链接口完成整个交互过程[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不叫十三

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值