解决使用selenium-wire访问链接地址不安全的问题

已于 2024-07-29 21:39:55 修改
阅读量1.9k 收藏 7
点赞数 16
文章标签： python 开发语言 selenium-wire 不安全
于 2024-07-28 22:58:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_41934979/article/details/140437150
版权

selenium-wire访问不安全如下:

pip安装selenium-wire

描述：这里用的是python3.12.2 selenium-wire==5.1.0

pip3.12 install selenium-wire
pip3.12 install blinker==1.7
pip3.12 install setuptools

运行以下命令来获取证书 

python -m seleniumwire extractcert

安装浏览器ssl证书

Windows上给chrome浏览器安装证书

方式一：

浏览地址栏输入：

chrome://settings/security

方式二：

打开chrome浏览器(selenium-wire驱动的chrom浏览器)--》点击设置--》隐私和安全--》安全--》

管理设备证书--》受信任的根证书颁发机构

点击 受信任的根证书颁发机构 导入刚才执行命令获取的ca.crt(安全证书)

 

 

重新运行，成功解决

 Linux 的系统，使用以下命令从终端安装证书

 -i： 是ca.crt文件的路径

CentOS

yum install nss-tools
certutil -d sql:$HOME/.pki/nssdb -A -t TC -n "Selenium Wire" -i /usr/packages/ca.crt

Ubuntu 

apt install libnss3-tools
certutil -d sql:$HOME/.pki/nssdb -A -t TC -n "Selenium Wire" -i /usr/packages/ca.crt

参考资料:
https://github.com/wkeeling/selenium-wire/issues/120

from seleniumwire import webdriver 在抓取http://链接的时候会自动转https://这个怎么解决？？
**My Coding Family**
08-31 1200
如上问题有的来自我自身项目开发，有的收集网站，有的来自读者…如有侵权，立马删除。再者，针对此专栏中部分问题及其问题的解答思路或步骤等，存在少部分搜集于全网社区及人工智能问答等渠道，若最后实在是没能帮助到你，还望见谅！并非所有的解答都能解决每个人的问题，在此希望屏幕前的你能够给予宝贵的理解，而不是立刻指责或者抱怨！如果你有更优解，那建议你出教程写方案，一同学习！共同进步。ok，以上就是我这期的Bug修复内容啦，如果还想查找更多解决方案，你可以看看我专门收集Bug及提供解决方案的专栏。
python-42-使用selenium-wire爬取微信公众号下的所有文章列表
qq_20466211的博客
01-10 601
Selenium WebDriver本身并不直接提供获取HTTP请求头(headers)的功能，Selenium Wire扩展了Selenium的Python绑定，让您可以访问浏览器发出的底层请求。您的代码编写方式与Selenium相同，但您可以获得额外的API来检查请求和响应并动态更改它们。
python selenium selenium-wire使用代理
weixin_41934979的博客
07-28 2709
最近使用selenium、selenium-wire爬取数据，在使用代理时查阅很多资料，在使用过程中发现很多资料、博客中都是错误的用法，误导初学selenium使用代理的开发者描述：我这里使用的是Python 3.12.2。
python版puppeteer——pyppeteer&selenium的加强版——seleniumwire
General_zy的博客
08-02 3125
代理供应商# 创建代理对象# 设置Chrome浏览器驱动程序使用代理这样加没问题，但访问页面就会出现"ERR_NO_SUPPORTED_PROXIES"代理提供商通常会提供白名单校验：将你的主机ip加入白名单就可以替换username,password校验了。
Python项目打包指南：PyInstaller与SeleniumWire的兼容性挑战及解决方案
最新发布
kilig_CSM的博客
04-07 984
在打包依赖冲突：如pyOpenSSL与的版本冲突问题。路径问题：如在运行时未找到或未正确加载。打包文件缺失：某些文件（如.crt.key等）在打包时未包含，导致运行时无法找到。本指南总结了在使用打包 Python 项目时常见的兼容性问题和解决方法。使用兼容的依赖版本，尤其是pyOpenSSL和。将等可执行文件显式添加到.spec文件。在代码中使用以正确引用打包后临时解压目录中的文件。严格遵循这些步骤可以有效避免大多数打包和运行时错误，确保项目在各个环境下稳定运行。
学习selenium爬虫打开网页时出现“不安全”提示
xzj0106的博客
12-06 2227
我是刚接触自动化爬虫的小白，这两天在学习selenium爬虫时，遇到了问题，打开网页时，网页空白，提示“不安全”，跪求指导。 注：用的谷歌浏览器，版本和驱动正确。
selenium启动chrome浏览器打开不安全网址直接下载文件
qq_39894837的博客
08-08 846
selenium配置chrome浏览器将一个原本不安全的HTTP来源（origin）当作是安全的HTTPS来源来处理
python+selenium自动化脚本怎样跳过不安全的连接_如何在从python selenium脚本打开私有浏览器时禁用“不安全连接”？...
weixin_31207903的博客
01-13 1957
在为firefox浏览器运行python selenium脚本时，我遇到一个问题Your connection is not secure它不允许我添加异常和阻止Confirm Security Exception以及(即使手动使用首选项)。因此，我试图添加像“webdriver_accept_untrusted_certs”，“webdriver_accept_untrusted_certs”这...
Selenium处理谷歌浏览器https安全问题
weixin_47317810的博客
04-15 1080
大部分人可能想着把这个https协议的站点加入到浏览器例外的站点，这样子就可以跳过提示了，但是这对于selenium来说，属于一次性操作，因为selenium每次测试都会把加入到例外列表的站点清空，所以这样子操作是没有用的。我们在使用selenium进行自动化测试时基本都是使用http协议测试，但是当我们使用https协议进行测试时浏览器会先弹出一个弹框提示该链接为私密链接，需要手动接受证书，这个时候就影响到我们的自动化测试。
selenium去除安全连接
qq_45478878的博客
07-06 918
selenium去除https安全连接 chrome： options = webdriver.ChromeOptions() options.add_argument(’–ignore-certificate-errors’) ddriver = webdriver.Chrome(chrome_options=options) driver.get(u’url地址’) IE capabilities = webdriver.Desired Capabilities() INTERNETE XPLORER
Python Selenium常见错误&amp；解决方式
2401_83817024的博客
04-20 591
由于chrome浏览器的自动更新机制，chome被更新至122.0.6261.95，而此前使用的chrome driver为122.0.6261.94，相差一个版本，启动脚本会闪退/代码执行完会自动退出。下载链接：https://vikyd.github.io/download-chromium-history-version/#/随后启动chromium，打开隐私与安全----安全----证书-----受信任的根证书颁发机构，点击导入，一直下一步即可修复！的最新版本为94，没有95。
selenium-wire：扩展了Selenium的Python绑定，使您能够检查浏览器发出的请求
02-06
selenium-wire：扩展了Selenium的Python绑定，使您能够检查浏览器发出的请求
使用selenium自动控制浏览器找不到Chromedriver问题
10-15
总之，解决Selenium找不到ChromeDriver的问题，关键在于确保ChromeDriver和Chrome浏览器版本匹配，以及正确配置环境变量或在代码中指定ChromeDriver的路径。如果以上方法都无法解决问题，可以检查防火墙设置，确保...
爬虫教程（ 5 ） --- Selenium 与 PhantomJS
墨鱼菜鸡
07-11 1544
1. Selenium 中式读法：【瑟林捏幕 】 Selenium( selenium 中文网：http://www.selenium.org.cn/ )是一个强大的网络数据采集工具，最初是为了网站自动化测试而开发的，被用来测试 Web 应用程序在不同的浏览器和操作系统上运行能力。 Selenium 不带浏览器，它需要与第三方浏览器结合在一起使用...
《手把手教你》系列技巧篇（四十三）-java+ selenium自动化测试-处理https 安全问题或者非信任站点-上篇（详解教程）
北京-宏哥的博客
03-20 1087
这一篇宏哥主要介绍webdriver在IE、Chrome和Firefox三个浏览器上处理不信任证书的情况，我们知道，有些网站打开是弹窗，SSL证书不可信任，但是你可以点击高级选项，继续打开不安全的链接。举例来说，想必大家都应该用过前几年的12306网站购票，点击新版购票，是不是会出现如下的界面。
selenium+python+firefox解决不安全连接的方法
qq_18653119的博客
01-25 4035
1.firefox创建用户profile firefox.exe -p创建用户profile 2.在1创建的用户profile中将需要访问的站点设置为信任 3.selenium启动浏览器时设置启动1创建的用户profile 代码如下： #coding=utf_8 from selenium import webdriver from time import time,sleep #指定配
GITHUB上的一些DevSecOps
qq_44005305的博客
01-31 347
最近一直在完善自己的扫描器和攻击链，所以也一直在GITHUB上看自动化的一些知识，脑壳痛看起来比较优秀的如下，本人只推荐哈DefectDojoDefectDojo 是一个安全编排和平台。DefectDojo 允许您管理您的应用程序安全程序，维护 产品和应用信息、分类漏洞和 将结果推送到 JIRA 和 Slack 等系统。DefectDojo 丰富并 使用许多启发式算法来优化漏洞数据，这些算法 随着您使用该平台的次数越多越好。github；搭建好的运行截图如下。
Java+Selenium3方法篇32-处理不安全连接
Anthony_tester的博客
06-30 6786
本篇介绍webdriver处理不信任证书的情况，我们知道，有些网站打开是弹窗，SSL证书不可信任，但是你可以点击高级选项，继续打开不安全的链接。举例来说，大家都应该用过12306网站购票，点击新版购票，是不是会出现如下的界面。 先来看看chrome上如何处理这个，跳过图中这个步骤，直接到买票页面。 package lessons; import org.openqa.selenium.W
Selenium Wire编辑header破解反爬机制和访问限制
测试进阶之路
07-04 2897
selenium wire新增header参数解决自动化测试过程中出现的反爬机制和访问限制。
音乐爬虫
03-16
### 音乐爬虫的实现方式及相关资源 音乐爬虫可以通过多种框架和技术栈实现，具体取决于目标网站的技术特点以及开发者的需求。以下是几种常见的方法及其对应的工具： #### 1. 使用 Puppeteer 进行无头浏览器操作 Puppeteer 是一种强大的 Node.js 库，用于控制 Chromium 浏览器实例并抓取动态加载的内容。为了规避反爬机制，可以结合 `puppeteer-extra` 和其插件 `stealth-evasions` 来模拟真实用户的访问行为[^1]。 ```javascript const puppeteer = require('puppeteer-extra'); const StealthPlugin = require('puppeteer-extra-plugin-stealth'); // 添加 stealth 插件以绕过检测 puppeteer.use(StealthPlugin()); (async () => { const browser = await puppeteer.launch({ headless: true }); const page = await browser.newPage(); // 访问目标页面 await page.goto('https://example-music-site.com'); // 提取所需数据 const musicData = await page.evaluate(() => { return Array.from(document.querySelectorAll('.music-item'), item => ({ title: item.querySelector('.title').innerText, artist: item.querySelector('.artist').innerText })); }); console.log(musicData); await browser.close(); })(); ``` #### 2. Selenium-Wire 的应用 Selenium-Wire 扩展了 Selenium 功能，允许拦截和修改网络请求，这对于处理复杂的登录验证或 API 调用非常有用[^2]。通过它可以直接获取到音频流链接或其他隐藏的数据源。 ```python from seleniumwire import webdriver options = {} driver = webdriver.Chrome(executable_path='/path/to/chromedriver', options=options) url = 'https://target-music-platform.com' driver.get(url) for request in driver.requests: if '.mp3' in str(request.url): # 假设我们关注的是 MP3 文件下载链接 print(f"Found audio file at {request.url}") driver.quit() ``` #### 3. 数据预处理中的注意事项 当从 CSV 文件导入数据时，可能会遇到缺失值 (NaN)，这会干扰后续逻辑判断。因此，在实际开发过程中需要注意对这些异常情况进行适当处理[^4]。 例如： ```python import pandas as pd df = pd.read_csv("songs.csv") cleaned_df = df.fillna('Unknown') # 将所有 NaN 替换为 Unknown 字符串 print(cleaned_df.head()) ``` #### 4. 社区支持与常见问题解答 对于更深入的学习或者解决问题的帮助，Stack Overflow 平台提供了丰富的讨论记录[^3]。你可以利用该站点上的搜索功能查找特定主题下的高质量问答内容；同时 GitHub 上也有许多开源项目可供参考学习。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值