Python selenium 获取 html 参考代码

最新推荐文章于 2024-05-31 14:00:03 发布

原创最新推荐文章于 2024-05-31 14:00:03 发布 · 460 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #selenium #html

本文介绍了如何使用Python的webdriver.Chrome库通过XPath获取网页的outerHTML属性，展示了从百度首页抓取HTML代码的过程。

# 用 outerHTML 属性 来获取
driver = webdriver.Chrome('自己的chromedriver.exe路径')
driver.get(‘http://www.baidu.com’)
driver.find_element_by_xpath('//html').get_attribute('outerHTML')
print("HTML code:\n", html)

结果如下：

<html><head></head><body>xxxx</body></html>

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

安得权

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

优快云文档批量上传脚本,Python Selenium调用比特浏览器上传文档示例代码

IT技术博客

06-10

302

摘要：该Python脚本实现了一个优快云文档自动上传系统，主要包含两个代码文件。主程序通过BitBrowser控制浏览器，自动完成登录优快云、上传文档、选择分类和提交发布的全流程操作。脚本支持批量处理文档，自动读取指定目录下的文件，并处理上传后的文件移动。BitBrowser.py文件提供了浏览器指纹管理、代理设置、Cookie操作等底层功能接口。系统采用Selenium进行网页自动化操作，包含异常处理和防频繁上传检测机制，适用于需要批量上传文档到优快云的场景。使用前需根据实际情况修改配置参数。

Python爬虫：selenium动态加载HTML的常用方法【汇总笔记】

Java Punk

09-30

6731

selenium动态加载HTML的常用方法，包括：获取节点，获取节点属性、值，页面交互、等待等方法

参与评论您还未登录，请先登录后发表或查看评论

Python（爬虫篇）--- 动态HTML处理【二】Selenium数据获取

Zachary579的博客

11-25

1100

敬请期待

Selenium+PhantomJS+python获取html动态生成的数据

06-29

python获取html动态生成的数 python获取html动态生成的数

python selenium driver获取html

weixin_41934979的博客

05-31

544

说明：这里用的环境是selenium4.0版本。

python使用selenium库，获取网站html

lspjuzi的博客

01-17

1293

可以配合python的beautifulsoup4库对页面进行解析，如果在服务器上运行要注意服务器上有没有安装对应的字体（被字体的问题坑过）

精选资源

基于python selenium实现B站直播弹幕和礼物信息爬虫源码+项目操作说明.zip

10-12

基于python selenium实现B站直播弹幕和礼物信息爬虫源码+项目操作说明.zip 实现原理： 1.核心：数据去重直播间网页页面可容纳的弹幕和礼物数据是有限的，且这些数据不断地在更新增加，超过一定量后，将会发生滚动...

python+selenium+chromedriver实现爬虫示例代码

12-20

Python+Selenium+Chromedriver是实现自动化网页抓取和测试的一种常见组合。在这个场景中，我们将探讨如何使用这些工具来创建一个简单的爬虫。首先，Selenium是一个强大的Web应用程序测试框架，它允许开发者模拟...

Python+selenium 获取一组元素属性值的实例

09-20

本文讲解了使用Python语言结合Selenium库来获取网页中一组元素的属性值的具体操作方法。Python是一种广泛使用的高级编程语言，非常适合于数据处理和自动化脚本编写。Selenium则是一个用于自动化Web应用程序测试的...

selenium操作隐藏的元素(python+Java)

08-25

Selenium 操作隐藏的元素（Python+Java） Selenium 是一个流行的自动化测试工具，能够模拟用户的行为来操作网页元素。但是在实际应用中，我们经常会遇到隐藏的元素，这些元素因为某些原因而不可见，从而导致 ...

【爬虫】5.3 Selenium 查找HTML元素

Jack

06-30

3959

Selenium 提取HTML元素函数/方法

selenium获取html源代码

热门推荐

寸草心的博客

03-12

2万+

执行js得到整个HTML html = driver.execute_script("return document.documentElement.outerHTML") 获得整个文档的HTML html = driver.find_element_by_xpath("//*").get_attribute("outerHTML") # 不要用 driver.page_sour...

pythonselenium获取html标签内容_python中的Firefox + Selenium：如何以交互方式获取元素html？...

weixin_39800957的博客

12-10

175

Im using Python + Selenium + Splinter + Firefox to create an interactive web crawler.The python script offers the options, then Selenium opens Firefox and sends some orders.Right now, I need to let th...

selenium--获取HTML源码断言和URL地址

weixin_30312557的博客

07-19

300

获取HTML源码 from selenium import webdriver import unittest class Test_source(unittest.TestCase): def Test_getPageSource(self): url = 'http://www.sogou.com' self.drive...

使用Python在Selenium WebDriver中获取WebElement的HTML源代码

asdfgh0077的博客

02-05

5646

我正在使用Python绑定来运行Selenium WebDriver。 from selenium import webdriver wd = webdriver.Firefox() 我知

selenium爬取网页部分HTML代码

Peter_cat0的博客

08-10

4035

selenium获取网页部分HTML代码。

使用selenium获取网页源码

flysh05的专栏

02-02

1万+

使用selenium获取网页源码2022.02.02 13:02:50字数 181阅读 0编辑文章安装好selenium和下载好WebDriver后即可测试。下面演示如何打开一个网址，并获取该网站的源码。基本步骤如下：1. 导入webdriverfrom seleniumimport webdriver2. 创建浏览器操作对象指定下载的webdriver文件路径，我有将该文件复制到了当前程序运行的路径下，所以直接指定该文件名，否则加上路径即可。path ="chromedriver.exe"browser

【测试】Selenium的使用（常用属性方法、元素等待、操作cookie、操作元素、无头模式、获取HTML源码）

冰冷的希望的博客

10-25

2777

1.Selenium Selenium是一个用于Web应用程序测试的工具，可以使用代码控制浏览器，所以一般可以用于测试、爬虫等方向免费开源跨平台，支持Linux、Win、Mac等支持多种浏览器，Chrome、Firefox、Edge等支持python、Java、C#、js等多种语言 2.WebDriver Selenium不能直接控制浏览器，得经过webdriver才能与预览器交互，即webdriver是两者之间的桥梁。所以我们需要先下载webdriver Chrom浏览器（chromedriv

使用Selenium获取框架内网页源码

weixin_42771529的博客

05-29

1237

首先，确保您已经安装了Selenium库以及对应的WebDriver。例如，如果您使用的是Chrome浏览器，则需要下载ChromeDriver。以上步骤展示了如何使用Selenium获取网页源码，包括处理iframe等特殊情况。如果网页中包含iframe，您需要先切换到iframe内部，然后再获取其中的网页源码。编写Python脚本，导入必要的Selenium模块，并创建浏览器操作对象。如果您需要获取特定元素的HTML源码，可以使用XPath定位该元素，然后使用。属性来获取整个页面的HTML源码。

python selenium 获取动态html

最新发布

07-02

在使用 Python 和 Selenium 获取动态生成的 HTML 内容时，可以通过 `WebDriver` 对象加载页面并等待 JavaScript 执行完毕后，再获取最终渲染完成的页面内容。Selenium 会模拟浏览器行为，包括执行 JavaScript 脚本、处理 AJAX 请求等，从而确保获取到完整的动态内容。 ### 获取动态生成的 HTML 内容可以使用以下代码示例来获取动态加载后的完整 HTML 内容： ```python from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By import time # 初始化 WebDriver（以 Chrome 为例） service = Service(executable_path='/path/to/chromedriver') driver = webdriver.Chrome(service=service) # 打开目标网页 driver.get("https://example.com") # 等待页面加载完成，可以根据实际需要调整等待时间或使用显式等待 time.sleep(5) # 或者使用 WebDriverWait 来等待某个元素出现 # 获取完整的页面 HTML html_content = driver.page_source # 输出 HTML 内容 print(html_content) # 关闭浏览器 driver.quit() ``` ### 使用封装类简化操作参考引用中提到的 `Tool` 类可以进一步扩展，用于封装常用操作如查找元素、点击按钮、输入文本等[^1]。例如，在动态页面中触发某些交互后再获取 HTML： ```python class Tool: def __init__(self, driver): self.driver = driver def find(self, locator): return WebDriverWait(self.driver, 10).until(lambda d: d.find_element(*locator)) def click(self, locator): self.find(locator).click() def get_page_source(self): return self.driver.page_source ``` 通过调用该类的方法，可以在点击“加载更多”按钮等交互后获取更新后的 HTML 内容。 ### 处理 AJAX 加载和异步请求如果页面依赖 AJAX 或其他异步请求加载数据，建议使用 `WebDriverWait` 显式等待关键元素出现，而不是固定等待时间： ```python from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # 等待特定元素加载完成 wait = WebDriverWait(driver, 10) element = wait.until(EC.presence_of_element_located((By.ID, 'dynamic-content-id'))) # 此时再获取页面源码，确保动态内容已加载 html_content = driver.page_source ``` 这种方法比使用 `time.sleep()` 更加高效和可靠。 ---