selenium 的 WebDriver 获取 script 标签中的 json 内容

最新推荐文章于 2025-03-29 15:02:24 发布
最新推荐文章于 2025-03-29 15:02:24 发布
阅读量1.2k 收藏 2
点赞数
文章标签： selenium javascript
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44198560/article/details/125288279
版权

在这里插入图片描述
WebDriver 有一个 executeScript 方法

String pageConfig = (String) driver.executeScript("return JSON.stringify(pageConfig)");
Selenium WebDriver 工作原理
m1992222的博客
06-20 714
WebDriver提供了另外一种方式与浏览器进行交互。利用浏览器原生API，封装成一套更加面向对象的Selenium WebDriver API，直接操作浏览器页面里的元素，甚至操作浏览器本身（截屏，窗口大小，启动，关闭，安装插件，配置证书之类的）WebDriver是W3C的一个标准，由Selenium主持，WebDriver之所以能够实现与浏览器进行交互，是因为浏览器实现了这些协议，这个协议使用JOSN通过HTTP进行传输。
java调用selenium_Java Selenium WebDriver 操作调用浏览器后台执行Js(JavaScript)代码
weixin_39950812的博客
02-19 818
1､Selenium WebDriver安装引用注意：要用使用的浏览器肯定要装，并且Selenium.Chrome.WebDriver版本要和浏览器版一致。如果要操作其它浏览器，则下载安装对应其它浏览器的程序包，本文主要是Chrome浏览器。2、Selenium WebDriver执行Js代码import org.openqa.selenium.JavascriptExecutor;import ...
Selenium+BeautifulSoup+json获取Script标签内的json数据
01-19
Selenium爬虫遇到 数据是以 JSON 字符串的形式包裹在 Script 标签中， 假设Script标签下代码如下： [removed] { user: { isLogin: true, userInfo: { id: 123456, nickname: LiMing, intro: 人生苦短，我用python } } } [removed] 此时drive.find_elements_by_xpath(‘
python+selenium获取网页动态加载的json文件
qq_37268093的博客
11-02 7353
今天遇到的问题 F12中能找到json文件，我所要也就是json文件里面的strokes内容。 但是在先前的写的代码中，通过selenium自动化库能完成汉字的自动化搜索。但是无法获取到的json文件。 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdrive
Python 解析 HTML 并提取所有 script 标签的内容
最新发布
2501_91139514的博客
03-29 156
``html Python 解析 HTML 并提取所有 script 标签的内容。
python爬取script标签_Selenium+BeautifulSoup+json获取Script标签内的json数据
weixin_42508785的博客
01-14 2772
Selenium爬虫遇到 数据是以 JSON 字符串的形式包裹在 Script 标签中，假设Script标签下代码如下：{"user": {"isLogin": true,"userInfo": {"id": 123456,"nickname": "LiMing","intro": "人生苦短，我用python"}}}此时drive.find_elements_by_xpath('//*[@id=...
Selenium+BeautifulSoup+json获取 Script 标签内的 json 数据
诡途的博客
05-26 6594
Selenium爬虫遇到 数据是以 JSON 字符串的形式包裹在 Script 标签中，此时drive.find_elements_by_xpath('//*[@id="DATA_INFO"]只能定位到元素，但是无法通过`.text`方法，获取Script标签下的json数据，并通过json加载成字典格式
使用selenium 将js对象转换为json格式的方法
qq_24137739的博客
09-05 579
script = 'function a(){{var styleWidth="";var styleHeight="";var s={}; return JSON.stringify(s);}}return a();'.format(json_source) content = self.browser.execute_script(script) content = json.loads(c...
连接Jesttests至SeleniumWebDriver
08-10
在项目根目录下的`jest.config.js`文件中，我们需要设置测试环境为`jsdom`，因为Selenium WebDriver通常在真实浏览器环境中工作，而Jest默认使用的是模拟的DOM环境。配置可能如下： ```javascript module.exports =...
selenium webdriverAPI-python
10-13
### Selenium WebDriver API in Python #### Introduction Selenium WebDriver is a powerful tool for automating web browsers. It provides a platform-independent way to interact with web pages and can be...
自动化测试selenium之webdriver常用的API
dollar_jen的博客
07-13 561
1、webdriver的工作原理简述： 启动浏览器后，selenium-webdriver会将目标浏览器绑定到特定的端口，启动后的浏览器则作为webdriver的 remote server。 客户端(测试脚本)，借助ComandExecutor发送HTTP请求给sever端（通信协议是The WebDriver Wire Protocol，在HTTP request的body中，会以WebDriver Wire协议规定的JSON格式的字符串来告诉Selenium希望对浏览器的操作）。 Sever端需
python使用selenium提取script节点的内容不成功的解决方法
xiemanR的专栏
01-15 9960
使用selenium提示script节点的内容失败的二种解决方法。
Python爬虫JSON网址selenium实战笔记
weixin_44071904的博客
02-16 1240
仅供学习参考
如何使用Python的Selenium库进行网页抓取和JSON解析
Z_suger7的博客
08-30 1819
Python的Selenium库作为一种自动化测试工具，已经成为许多开发者的首选，因为它提供了强大的功能和灵活性。本文将介绍如何使用Python的Selenium库进行网页抓取，并结合高效JSON解析的实际案例，帮助读者解决相关问题。通过Selenium库的强大功能和灵活性，我们可以轻松地实现网页抓取，视觉抓取的数据进行解析和处理本文。我们可以使用Selenium库进行网页提取，并使用Python的json模块解析JSON数据。例如: 如何使用Python的Selenium库进行网页抓取和数据解析？
数据接口（json）和selenium的使用
ZiXiaoAo的博客
08-21 2158
selenium：需要先在浏览器对象里面登录一次，在刷新网页，然后获取cookie值（返回一个列表），result = 浏览器对象.get_cookies() . 将result写入txt文件，（一般将此数据转成json文件写入txt，下次提取就很方便了）如果有选项卡，需要切换选项卡 - 浏览器对象.switch_to.window(选项卡名) {选项卡名字,浏览器对象.window_handles[-1]} 返回列表 （此时就切换了浏览器对象在新网页上）path=chromedriver/
Skr-Eric的爬虫课堂（五）——爬虫的json模块、动态网站数据抓取、selenium爬取
Skr_Eric的博客
01-03 807
json模块 1、javascript中的对象和数组 对象 ：{"key":"value"} 数组 ：[X1,X2,X3] 2、作用 json格式的字符串 和 Python数据类型 之间的转换 3、常用方法 1、json.loads() : json格式 --> Python数据类型 json pyth...
Selenium执行JavaScript脚本
测试开发小记
12-30 1802
JavaScript是运行在客户端（浏览器）和服务器端的脚本语言，允许将静态网页转换为交互式网页。可以通过 Python Selenium WebDriver 执行 JavaScript 语句，在Web页面中进行js交互。那么js能做的事，Selenium应该大部分也能做。WebDriver是模拟终端用户的交互，所以就不能点击不可见的元素，有时可见元素也不能点击。在这些情况下，我们就可以通过WebDriver 执行JavaScript来点击或者执行页面元素。本文将介绍如何使用WebDriver执行JavaS
Selenium 执行JavaScript
weixin_30729609的博客
03-18 291
Selenium 可以直接模拟运行 JavaScript，使用 execute_script() 方法即可实现 from selenium import webdriver browser = webdriver.Chrome() browser.get("https://www.zhihu.com/explore") browser.execute_script("window....
利用selenium获取接口数据
weixin_47175709的博客
10-10 3973
selenium获取接口数据
python selenium 获取网络中预览数据
02-22
<think>好的，用户想了解如何使用Python的Selenium来获取网络中的预览数据。首先，我需要明确“预览数据”具体指的是什么。可能是指页面加载前的预加载数据，或者是动态加载的内容，比如通过AJAX获取的数据，或者页面中的一些元信息，比如meta标签中的预览信息，比如社交媒体分享时的预览卡片数据。 接下来，我需要考虑用户可能的场景。用户可能是在爬取网页时遇到了动态加载的内容，传统的静态爬虫无法获取这些数据，所以需要使用Selenium模拟浏览器行为来获取这些在页面交互后才显示的数据。或者用户可能是指特定类型的数据，比如页面中的结构化数据（如JSON-LD），或者特定API返回的数据。 然后，我需要回顾Selenium的基本用法，包括启动浏览器驱动、定位元素的方法，以及如何处理动态加载的内容。可能需要提到显式等待（WebDriverWait）和隐式等待，以确保数据加载完成后再进行抓取。 另外，用户可能需要了解如何获取隐藏在网络请求中的数据，这时候可能需要结合Selenium和浏览器开发者工具来监控网络活动，比如使用driver.execute_script来运行性能监控相关的JavaScript代码，或者使用代理如BrowserMob Proxy来捕获网络请求。不过，Selenium本身不直接提供网络请求的捕获功能，但可以通过其他方式实现。 还需要考虑不同网站的结构差异，用户可能需要根据具体情况调整元素定位方式，比如使用XPath、CSS选择器等。同时，需要注意反爬虫机制，比如检测到Selenium的使用，可能需要设置一些选项来隐藏自动化工具的痕迹，比如使用ChromeOptions的excludeSwitches参数。 可能的步骤包括： 1. 安装Selenium和对应的浏览器驱动。 2. 启动浏览器并访问目标网页。 3. 等待目标数据加载完成。 4. 定位元素并提取数据。 5. 处理分页或滚动加载的情况。 6. 关闭浏览器。 如果用户指的是获取网络请求中的预览数据，比如XHR或Fetch返回的JSON数据，可能需要结合Selenium Wire这样的库，或者使用浏览器开发者工具的网络面板记录请求，然后在代码中拦截这些请求并提取数据。 此外，可能需要提到处理iframe中的内容，因为有些预览数据可能嵌套在iframe里，需要先切换到对应的frame才能获取元素。 还要提醒用户注意法律和道德规范，确保在合法范围内进行数据抓取，遵守目标网站的robots.txt协议。 最后，可能需要给出一个具体的示例，比如如何获取动态加载的商品信息，或者如何从meta标签中提取预览描述和图片。这有助于用户更直观地理解操作步骤。</think>使用 Python 的 Selenium 库获取网络中的预览数据，通常指抓取动态加载内容、AJAX 请求结果或页面元信息（如社交媒体预览卡片）。以下是分步指南： --- ### **1. 基础环境准备** ```python # 安装库 pip install selenium webdriver-manager # 示例代码（使用Chrome） from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from webdriver_manager.chrome import ChromeDriverManager # 自动下载浏览器驱动并启动 driver = webdriver.Chrome(service=Service(ChromeDriverManager().install())) ``` --- ### **2. 获取动态加载内容** #### 显式等待数据加载 ```python driver.get("https://example.com") # 等待特定元素加载（最多10秒） try: element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, ".dynamic-content")) ) print(element.text) finally: driver.quit() ``` --- ### **3. 提取元信息（如预览卡片）** ```python # 获取 Open Graph 协议的预览信息（常用于社交媒体） def get_og_data(url): driver.get(url) title = driver.find_element(By.CSS_SELECTOR, 'meta[property="og:title"]').get_attribute("content") description = driver.find_element(By.CSS_SELECTOR, 'meta[property="og:description"]').get_attribute("content") image = driver.find_element(By.CSS_SELECTOR, 'meta[property="og:image"]').get_attribute("content") return {"title": title, "description": description, "image": image} print(get_og_data("https://example.com")) ``` --- ### **4. 拦截网络请求（进阶）** 如果需要直接获取 AJAX 返回的 JSON 数据，可结合 **Selenium Wire**： ```python # 安装扩展库 pip install selenium-wire from seleniumwire import webdriver def capture_ajax_response(): driver = webdriver.Chrome() driver.get("https://example.com") # 遍历所有请求，寻找目标API for request in driver.requests: if request.response and "/api/data" in request.url: print(request.response.body.decode('utf-8')) driver.quit() ``` --- ### **5. 处理滚动加载/分页** ```python # 模拟滚动到底部（适用于无限滚动页面） driver.get("https://infinite-scroll-site.com") last_height = driver.execute_script("return document.body.scrollHeight") while True: driver.execute_script("window.scrollTo(0, document.body.scrollHeight);") time.sleep(2) # 等待新内容加载 new_height = driver.execute_script("return document.body.scrollHeight") if new_height == last_height: break last_height = new_height # 提取所有加载后的数据 items = driver.find_elements(By.CLASS_NAME, "item") ``` --- ### **注意事项** - **反爬虫策略**：添加 `user-agent` 伪装浏览器，禁用自动化标志： ```python options = webdriver.ChromeOptions() options.add_argument("--disable-blink-features=AutomationControlled") options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...") ``` - **性能优化**：加载完成后关闭图片加载加速： ```python chrome_options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2}) ``` - **法律合规**：遵守目标网站的 `robots.txt` 和隐私政策。 --- 通过上述方法，你可以高效抓取动态生成的预览数据。根据实际需求调整定位方式（XPath/CSS选择器）和等待策略。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值