selenium 有界模式正常，无界模式报错

最新推荐文章于 2025-10-23 01:22:03 发布
原创 最新推荐文章于 2025-10-23 01:22:03 发布 · 511 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #selenium #网络爬虫

在使用GoogleChrome的headless模式时，由于user-agent中包含HeadlessChrome，可能导致被识别为bot。通过在options中添加--headless参数和自定义user-agent，可以避免这种情况，使它表现得更像普通浏览器。

使用最新的Google Chrome时：

  • 当您使用正常标题的google-chrome浏览器时，以下user-agent正在使用：Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36

  • 其中，当您使用google-chrome-headless浏览器时，以下user-agent正在使用：Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/95.0.4638.69 Safari/537.36

附加的Headless参数/属性作为bot被拦截。

修改后：

options.add_argument('--headless')

options.add_argument("user-agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'")

完美解决

作者：帆哥

链接：https://www.zhihu.com/question/390628859/answer/2297484413

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

Edge浏览器查看请求头（2022）
qq_53679247的博客
08-09 1万+
OK如果大家找不到的话可以用下面的这些在网上已经公开的请求头。
互联网防反爬机制的六种反爬技术大解析
公众号：白又白学Python
10-19 1万+
目录 前言 反爬虫 仔细分析这七种反爬技术 1、user-agent 2、验证码 3、封IP 4、关联请求上下文 5、JavaScript 参与运算 6、提高数据获取成本 前言 ​ 互联网时代，无论在工作上，还是生活上都离不开网络，而网络能给我们带来什么？ ​ 新闻，小说，资料，各行业的数据或者报表等等； ​ 比如：快毕业了为了论文，在各种网站上爬取需要的数据进行分析；还有一些为了兴趣爱好，爬取各种类型的图片，视频，文章，数据等。 ​ 各网站的开发人员为了约束这种行为，开始绞尽脑
requests.exceptions.InvalidHeader: Invalid return character or leading space in header: user-agent错误
qq_54641516的博客
07-24 5780
百度无果，后来发现是粗心的问题在从浏览器贴回来的请求头信息里面，不能有空格。进行爬虫操作时，出现了没见过的问题。一个空格这类的问题很难发现，共勉。
网络编程-HTTP/HTTPS（下）
最新发布
2401_88631059的博客
10-23 878
本文介绍了HTTP协议中的关键概念和技术要点： User-Agent：标识浏览器和操作系统版本，用于区分PC和移动设备访问，现代技术已转向响应式编程。 Referer：记录页面跳转来源，直接输入URL或收藏夹访问时无Referer。 Cookie机制： 服务器通过Set-Cookie设置键值对 浏览器按域名存储，后续请求自动携带 核心用途是维护登录状态（session机制） HTTP状态码： 2XX：成功（200 OK） 3XX：重定向（301/302） 4XX：客户端错误（404 Not Found） 5
python + selenium在有界面模式下正常，在无界面模式下运行报错Message: element not interactable
weixin_59657678的博客
11-21 2357
报错Message: element not interactable
如何解决selenium无头浏览器访问页面失败问题！！
追梦的女孩博客
04-12 1908
无头浏览器（Headless browser）是一种没有图形用户界面（GUI）的网络浏览器。它可以在后台运行，并通过编程接口进行控制和操作，而不需要显示界面。通常，传统的浏览器如 Chrome、Firefox 和 Safari 都具有图形用户界面，但这些浏览器也提供了无头模式的选项。无头浏览器的主要用途是自动化测试和网页爬取。通过使用编程语言（如JavaScript，Python，Java等）的驱动程序或库，开发者可以模拟用户交互，并执行各种操作，如加载页面、点击按钮、填写表单等。
Python3+selenium配置常见报错解决方案
09-16
在使用Python3与Selenium进行Web自动化测试时，可能会遇到一些常见的配置问题导致程序无法正常运行。本文将详细介绍几个典型的错误及其解决方法，帮助开发者快速定位并解决问题。 #### 第一个坑：`'geckodriver' ...
005-PyCharm安装selenium报错处理Failed to inatall ‘selenium’
m0_46221673的博客
03-07 1591
您应该考虑通过“C:\Users\Administrator\AppData\Local\Programs\Python\Python38\Python.exe-m pip install--upgrade pip”命令进行升级。如需要安装指定版本使用： pip install selenium==2.48.0。但是，版本24.0是可用的。PayCharm继续安装提示：请尝试使用终端命令安装。4.安装成功，查看selenium版本。安装成功，查看Selenium版本。打开cmd使用cmd命令安装。
Selenium 无头浏览器模式：高效自动化测试的利器
2401_87975790的博客
08-28 1353
本文详细介绍了Selenium无头浏览器模式的使用方法，主要内容包括：1.无头模式的概念与优势，如更高性能、更快执行速度；2.Chrome、Firefox和Edge三种浏览器的无头模式配置代码示例；3.高级配置技巧，包括用户代理设置、性能优化和下载功能处理；4.无头模式下的调试技巧与最佳实践；5.常见问题解决方案。文章强调无头模式在自动化测试和网络爬虫中的重要性，建议根据实际需求调整配置并进行充分测试。
selenium的po模式的框架代码
03-22
selenium的po模式的框架代码
selenium问题-使用无头headless模式报错，Unable to locate element
feichang_notlike3的博客
03-06 847
【代码】selenium问题-使用无头headless模式报错，Unable to locate element。
解决selenium正常进入抖音没问题，headless无头模式报错的问题
热门推荐
weixin_53615617的博客
11-10 2万+
抖音这个网站有许多反爬机制，它会判定你是否是爬虫、是否是自动化测试脚本等。 我用正常selenium访问没有问题，使用无头模式进入就出现报错找不到元素的问题。 下面是原代码，加上heedless就出现元素定位找不到的报错。 我试了一些方法发现都不不行，然后我就用save_screenshot('./JT.png')截图发现抖音网站界面就只有五个点（如下图）根本就没有访问。 后来设置了窗口大小、开发者模式运行、上网搜了一些方法也还是不行。 后来经过一番探索后发现在代码中加入: opti.
python_selenium使用时，在切换无头模式后报错的原因
m0_62562773的博客
05-24 671
在服务器上可以运行页面，但是要由于没有显示器，所以要修改为无头模式，修改时出现问题，某些按钮无法点击，最后发现原因为：在代码中最大化时的分辨率有问题，导致无法点击按钮。在改为无头模式前，代码一切运行正常，增加下面代码后。
selenium登陆无头模式验证码验证不通过，普通模式正常
唐僧不爱八戒
10-15 1161
# 绕过滑块验证 driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.defineProperty(navigator, 'webdriver', { get: () => undefined }) """ }) ...
selenium启动无界面浏览器问题
Pierce°ღ的博客
10-25 1452
关于selenium启动无界面浏览器问题 使用最新版本的selenium模块(3以上)启动phanthomjs.exe无界面驱动时会报警告，且终止程序问题，常见错误为： UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead warnings.warn('Selenium support for PhantomJS ha
无界面浏览器模式selenium
qq_47114453的博客
04-18 1564
无界面浏览器模式 无界面浏览器模式 方法一： from selenium.webdriver import Chrome #导入Chrome from selenium.webdriver.chrome.options import Options #导入Options opt = Options() opt.add_argument('--no-sandbox') # 解决 DevToolsAc...
Selenium无头模式容易遇到的坑
OKCRoss的博客
12-07 4502
使用以上代码初始化selenium后，应该可以规避挺大一部分网站对爬虫的检测了，但是也不是万能的，有些网站可能还是会检测出来，这时候就需要我们自己去分析网站的检测方式，然后针对性的去解决了。selenium无头模式下的浏览器默认是开启GPU加速的，我们可以禁用GPU加速来解决这个问题,GPU加速会让浏览器的性能更好，但是会增加一些特征点，从而被检测出来。无头模式的浏览器向服务器发送的请求头和正常模式下还是有点区别的，这就导致了一些网站会检测到我们是用selenium来访问的，从而导致一些问题。
【Web自动化学习】【Dmeo源码工程】Windows下无界面运行selenium爬虫
邑轻辰的学习笔记
06-07 391
Windows下无界面运行selenium爬虫
Selenium 无头浏览器被知乎限制访问的解决方案
异想之旅的博客
07-31 3659
知乎还是我见过的所有网站中反爬策略比较高级的，从未有人能成功解开他的接口数据加密（有点过于绝对，但至少没公开过），2023年4月以后我更是没见过任何可用的 API 问世。偶然想起查资料的过程中，有人提到在默认情况下，headless 模式打开的浏览器会使用一个包含 headless 关键字的特殊 UA，那么知乎是否是通过这一最简单的方式进行的识别呢。有一些文章提到，通过 WebDriver 启动的网页会存在一些特殊的 JS 变量，这些变量可能会被网站的 JS 识别，例如。底部加入如下代码，也没有生效。
selenium 无界模式报错
07-25
回答: 当使用Selenium的无界面模式时，有时候可能会遇到报错的情况。这可能是因为您的浏览器版本不兼容无界面模式，或者您的代码中存在错误。请确保您的浏览器版本符合要求，对于macOS系统，需要使用Chrome浏览器的59+版本，对于Linux系统，需要使用Chrome浏览器的57+版本才能使用无界面模式。另外，请检查您的代码是否正确配置了无界面模式的参数，例如使用`--headless`参数开启无界面模式，并禁用GPU使用`--disable-gpu`参数。如果问题仍然存在，请提供具体的报错信息，以便更好地帮助您解决问题。 #### 引用[.reference_title] - *1* [爬虫之selenium开启无界面模式](https://blog.youkuaiyun.com/weixin_44799217/article/details/112973096)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [python + selenium在有界面模式下正常，在无界面模式下运行报错Message: element not interactable](https://blog.youkuaiyun.com/weixin_59657678/article/details/127970084)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值