Selenium 处理打开浏览器含有data页面时的处理

最新推荐文章于 2025-07-05 10:41:14 发布
转载 最新推荐文章于 2025-07-05 10:41:14 发布 · 8.5k 阅读 · 6

本文介绍了一个使用Selenium WebDriver进行自动化测试的例子。通过Java代码实现了加载Chrome浏览器、设置Chrome选项来禁用某些特性，并访问百度网站。此示例展示了如何配置浏览器驱动以满足特定的测试需求。
public class getConn {
       public static WebDriver getDriver() {
         //加载Google驱动
    .setProperty("webdriver.chrome.driver",
     "D:/seleniumJAR/chromedriver_win32/chromedriver.exe");
      WebDriver driver;


     ChromeOptions options = new ChromeOptions();
    //通过配置参数禁止data;的出现
     options.addArguments("--user-data-dir=C:/Users/Administrator/AppData/Local/Google/Chrome/User Data/Default");
      //通过配置参数删除“您使用的是不受支持的命令行标记：--ignore-certificate-errors。稳定性和安全性会有所下降。”提示
    options.addArguments("--start-maximized",
   "allow-running-insecure-content", "--test-type");
   driver = new ChromeDriver(options);
    driver.get("http://www.baidu.com");
   return driver;


    }


     public static void main(String[] args) {
    getDriver();
    }
    }
【数据采集】Selenium抓取浏览器动态数据
Python、C++、HTML、Java
04-22 385
安装Selenium，下载ChromeDriver驱动并配置；爬取京东类目名称；访问网页模拟鼠标操作并在控制台上输出；访问网页模拟鼠标操作并在控制台上输出；自动填写用户名密码登录网站；隐藏浏览器运行过程；利用Cookie信息登录进行登录。
python进阶-05-利用Selenium来实现动态爬虫
Lookontime的博客
12-07 556
python进阶-05-利用Selenium来实现动态爬虫，和介绍Selenium2个实战案例
ChromeDriver启动Chrome浏览器后，地址栏只显示data；
热门推荐
qijingpei的博客
03-31 6万+
ChromeDriver启动Chrome浏览器后，地址栏只显示data; 几种错误的原因及解决方法：查阅https://stackoverflow.com/questions/37159684/chrome-opens-with-data-with-selenium后进行补充： （1）查看是否少了http头部：比如要用http://localhost:3000 而不是localhost:...
selenium+python打开谷歌浏览器提示data
weixin_42915878的博客
04-24 1万+
最近在做python+selenium+chrome，遇到一个问题，使用如下代码： from selenium import webdriver # 导入webdriver包 import time time.sleep(5) #dr = webdriver.Firefox()# 初始化一个火狐浏览器实例：driver dr=webdriver.Chrome() #调用谷歌浏览器 #d...
MyChrome.exe与Selenium联动避坑指南：User Data目录冲突解决方案
Ariadna的博客
07-05 1158
摘要： 在使用MyChrome.exe与Selenium进行自动化测试或数据采集时，User Data目录配置不当易引发冲突，导致浏览器启动失败或数据异常。解决方案包括：了解MyChrome默认User Data路径、避免Selenium额外设置目录、确保版本兼容性，以及谨慎管理扩展程序。冲突排查可通过检查版本匹配、查看日志、验证目录完整性及简化环境测试实现。正确处理目录冲突问题，能确保二者稳定联动，提升自动化任务效率。（150字）
selenium 打开70.0.3538.102版本chrome有新标签显示data:,问题
康小奔的专栏
11-23 4567
70.0.3538.102版本chrome 找到对应chromedriver 用selenium打开浏览器后显示data:,标签 脚本打开页面时并不是在这个标签打开的，而是新标签打开需要的页面，data标签在右边 网上找的方法是说chromedriver版本号和chrome不对应，但已经是对应的了，还是不行 有两种方法能避免这个标签 一.打开chrome时指定个人资料路径,pytho...
Web自动化测试跳转卡在data:,
qq_52621099的博客
03-10 1124
原因：版本问题
使用selenium执行测试用例时Chrome浏览器弹出多个data:,
weixin_45508657的博客
09-07 3455
selenium自动化测试时浏览器弹出data页面处理方法
Selenium webdriver在最开始打开的时候浏览器的地址栏会出现data的解决方法
weixin_30522095的博客
09-07 3335
大家看下面的代码：driver.get("http://www.baidu.com");log.info("Navigation to url: " + driver.getCurrentUrl());driver.navigate().to("http://www.cnblogs.com");log.info("Navigation to url: " + driver.getCurrentUr...
python3爬虫(8)--动态渲染页面使用Selenium库模拟浏览器抓取数据
Jalen big data analysis的博客
01-26 2518
在使用Ajax采集数据时，有些Ajax接口含有很多的加密参数，直接很难发现规律。此时，就可以使用模拟浏览器运行的方式来采集。Python 提供了许多模拟浏览器运行的库，如Selenium、Splash、PyV8、Ghost等。 一、模拟浏览器爬取数据Selenium的使用。 1.1、安装准备工作 安装selenium库：pip install selenium (1)、谷歌(Chrome)...
Python +Selenium解决图片验证码登录或注册问题(推荐)
09-18
1. **打开目标网页**：使用 Selenium 控制浏览器打开含有验证码的网页。 2. **截取整个网页的屏幕截图**：使用 `get_screenshot_as_file` 方法截取整个网页的截图。 3. **定位验证码元素**：通过 ID 或其他属性找到...
基于 Python（selenium） 的百度新闻定向爬虫：根据输入的关键词在百度新闻上进行搜索，并爬取新闻详情页的内容
qq_52053775的博客
04-25 957
该项目能够根据输入的关键词在百度新闻上进行搜索，并爬取新闻详情页的内容。
python selenium 进行爬虫，打开chrome只返回data; 打不开页面
the_conquer_zzy的专栏
11-05 7003
我选用的是chrome 代码如下： from selenium import webdriver from selenium.webdriver.common.keys import Keys driver=webdriver.Chrome() driver.get("http://www.baidu.com") 把下载好的chromedriver v2.43 放到 /usr/local/b...
2、selenium 自动化测试打开chrome时，chrome地址栏总是出现data:,
sunny10189的博客
11-15 2万+
我的第一篇博客终于开通了，在此记录下自己解决问题的过程，以后再出现问题就可以翻博客啦~~ 一、webdriver 的下载地址 Chrome地址：http://npm.taobao.org/mirrors/chromedriver/ Firefox 地址：https://github.com/mozilla/geckodriver/releases/ IE地址：http://selenium...
RF框架下selenium 打开chrome浏览器，打开地址只有data；
Enigma的博客
03-15 7671
今天执行selenium遇到了小问题，执行testcase打开Chrome浏览器只之后，不跳转到预先设置的网页url，地址栏只显示data;并且执行的pybot.py有这样一行提示unable to open socket to "localhost:64637"先后检查，终于发现是因为chrome升级了，但是浏览器安装目录下（C:\Program Files (x86)\Google\Chrom...
使用Java-selenium获取网页数据
追风落叶乔木生
10-26 1305
本文数据库访问使用的是spring-boot-data-jpa,不懂得同学可以先了解spring-boot-data-jpa再来看本文章。 package com.frank.demo.etl.service.impl; import java.io.File; import java.util.Calendar; import java.util.Date; import java....
运行selenium脚本时，出现data页的情况。
醉后不知天在水，满船清梦压星河。
01-22 876
运行selenium脚本时，出现data页的情况以及解决办法。
selenium的使用
qq_43658523的博客
08-04 644
python selenium
Selenium DataDriver
bobo的博客
09-26 320
将抓取的cookie处理成原始格式
最新发布
07-31
<think>我们使用Selenium WebDriver获取的cookie是一个字典列表，每个字典代表一个cookie，包含name, value, domain, path, expiry, secure, httpOnly等字段。 但是，有时我们需要将cookie转换为原始字符串格式（即HTTP请求头中"Cookie"字段的格式，如"name1=value1; name2=value2"），以便在后续的请求（如使用requests库）中直接使用。 转换方法： 1. 遍历cookie列表，提取每个cookie的name和value。 2. 将每个cookie的name和value组合成字符串"name=value"。 3. 用分号和空格将所有的"name=value"字符串连接起来。 注意：原始字符串格式中不包含domain, path, expiry等属性，只包含name和value。 示例代码： cookies = driver.get_cookies() # 获取cookie列表 cookie_str = '; '.join([f"{cookie['name']}={cookie['value']}" for cookie in cookies]) 这样，cookie_str就是原始字符串格式的cookie，可以直接用于requests的headers中，例如： headers = {'Cookie': cookie_str} response = requests.get(url, headers=headers) 但是要注意，这种转换只适用于当前页面的同域请求（因为cookie有domain和path的限制），如果目标请求的域名和当前页面不一致，那么这些cookie可能不适用。 另外，如果cookie中含有特殊字符（如分号、逗号等），通常浏览器会自动处理，但为了安全，我们可以使用更健壮的方式，比如对值进行URL编码，但一般不需要，因为requests库的CookieJar会自动处理。不过，在构建原始字符串时，我们直接拼接即可，因为cookie的value在设置时已经是URL编码过的（如果有特殊字符）。 但是，如果我们需要更严格的转换，可以使用http.cookiejar模块将Selenium的cookie转换为CookieJar对象，然后再转换为字符串。不过，对于简单使用，上述方法已经足够。 下面提供两种方法： 方法1：简单拼接（适用于大多数情况） 方法2：使用http.cookiejar（更规范，但稍复杂） 这里我们主要使用方法1，因为简单直接。 另外，注意：如果获取的cookie中有HttpOnly属性，这种cookie无法通过JavaScript读取，但通过WebDriver获取的cookie是包含HttpOnly的。不过，在转换为字符串时，我们只关心name和value。 因此，我们将按照以下步骤进行： 1. 使用WebDriver获取当前页面的所有cookie（driver.get_cookies()）。 2. 使用列表推导式生成"name=value"的字符串列表。 3. 用"; "连接这些字符串。 代码示例： from selenium import webdriver driver = webdriver.Chrome() driver.get("https://www.example.com") # 等待页面加载，确保cookie已设置（如果需要） # ... 这里可以添加等待逻辑 # 获取所有cookie cookies = driver.get_cookies() # 转换为原始字符串 cookie_str = '; '.join([f"{cookie['name']}={cookie['value']}" for cookie in cookies]) print(cookie_str) 然后，我们可以将这个cookie_str用于requests库： import requests headers = {'Cookie': cookie_str} response = requests.get('https://www.example.com/somepage', headers=headers) 注意：如果目标URL的域名和设置cookie的域名不一致，那么这些cookie不会被发送。所以确保目标URL在cookie的domain指定的范围内。 另外，如果cookie有secure属性（即只在HTTPS下发送），那么在使用requests请求时，目标URL必须是https。 如果我们需要处理多个域名，或者需要更复杂的cookie管理，建议使用requests.Session和cookiejar，并逐个添加cookie（包括domain, path等属性）。但这不是将cookie转换为原始字符串的需求，所以这里不展开。 因此，针对用户的问题，我们采用简单拼接的方法即可。 下面是一个完整的示例代码：</think># 将 Selenium WebDriver 获取的 Cookie 转换为原始字符串格式 要将 Selenium WebDriver 获取的 Cookie 转换为原始字符串格式（如 HTTP 请求头中的 "Cookie" 格式），您可以按照以下步骤操作： ## 转换方法 ```python from selenium import webdriver # 假设已初始化 WebDriver driver = webdriver.Chrome() driver.get("https://example.com") # 获取所有 Cookie cookies = driver.get_cookies() # 方法 1: 直接拼接为字符串格式 def cookies_to_string(cookies_list): """将 Cookie 列表转换为原始字符串格式""" return "; ".join([f"{cookie['name']}={cookie['value']}" for cookie in cookies_list]) # 转换 Cookie cookie_str = cookies_to_string(cookies) print("原始 Cookie 字符串:", cookie_str) ``` ## 完整示例代码 ```python from selenium import webdriver from selenium.webdriver.chrome.options import Options import time import subprocess def main(): # 1. 使用 subprocess 启动浏览器 print("启动浏览器...") cmd = '"C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe" --remote-debugging-port=9222 --user-data-dir="C:\\temp\\chrome_profile" https://www.zhihu.com' subprocess.Popen(cmd, shell=True) # 2. 连接已打开的浏览器 print("连接浏览器...") chrome_options = Options() chrome_options.add_experimental_option("debuggerAddress", "127.0.0.1:9222") driver = webdriver.Chrome(options=chrome_options) # 3. 等待页面加载 print("等待页面加载...") time.sleep(5) # 可根据实际需要调整等待时间 # 4. 获取并转换 Cookie print("获取并转换 Cookie...") cookies = driver.get_cookies() # 将 Cookie 转换为原始字符串格式 def cookies_to_string(cookies_list): return "; ".join([f"{cookie['name']}={cookie['value']}" for cookie in cookies_list]) cookie_str = cookies_to_string(cookies) print("\n原始 Cookie 字符串格式:") print(cookie_str) # 5. 保存到文件 with open('cookies.txt', 'w') as f: f.write(cookie_str) print("\nCookie 字符串已保存到 cookies.txt 文件") # 6. 关闭浏览器 driver.quit() print("操作完成") if __name__ == "__main__": main() ``` ## 关键说明 1. **转换原理**： - Selenium 的 `get_cookies()` 方法返回一个字典列表，每个字典包含 Cookie 的属性 - 我们只需要提取每个 Cookie 的 `name` 和 `value` 属性 - 使用分号和空格分隔各个 Cookie，格式为 `name1=value1; name2=value2` 2. **高级转换选项**： ```python # 包含 domain 和 path 的完整格式（不常用） def cookies_to_full_string(cookies_list): return "; ".join( [f"{cookie['name']}={cookie['value']}; Domain={cookie['domain']}; Path={cookie['path']}" for cookie in cookies_list] ) ``` 3. **转换为 Requests 可用的格式**： ```python import requests # 创建 CookieJar 对象 session = requests.Session() for cookie in cookies: session.cookies.set(cookie['name'], cookie['value'], domain=cookie['domain']) # 使用 Cookie 发送请求 response = session.get("https://example.com/protected-page") ``` ## 注意事项 1. **Cookie 作用域**： - 转换后的 Cookie 字符串只包含当前页面的有效 Cookie - 不同域名的 Cookie 需要单独获取和处理 2. **安全限制**： - HttpOnly Cookie 无法通过 JavaScript 获取，但 WebDriver 可以获取 - Secure Cookie 只会在 HTTPS 连接时发送 3. **Cookie 有效期**： - 转换后的字符串不包含过期时间信息 - 如果需要长期保存，应保存完整的 Cookie 对象而非字符串 4. **特殊字符处理**： - Cookie 值中的特殊字符（如分号、逗号）会自动编码 - 在大多数 HTTP 库中，这些字符会被正确处理 这种转换方法特别适用于将 Selenium 获取的 Cookie 用于其他 HTTP 客户端（如 Requests 库）的场景[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值