跟我一起学Python数据处理（八十七）：深入Selenium与无头浏览器的应用

lilye66

于 2025-02-23 23:10:02 发布

阅读量2.5k

点赞数 24

分类专栏：跟我一起学Python之数据处理文章标签： python selenium 开发语言

本文链接：https://blog.youkuaiyun.com/yyy173611/article/details/145817628

版权

跟我一起学Python之数据处理专栏收录该内容

134 篇文章

订阅专栏

跟我一起学Python数据处理（八十七）：深入Selenium与无头浏览器的应用

大家好呀！一直以来，我写这些内容的目的就是和大家一起在Python数据处理的学习道路上并肩前行、共同进步。今天，咱们接着探索Python数据处理中网页抓取的进阶知识，深入了解Selenium库的更多强大功能，以及无头浏览器在数据抓取中的应用。

一、Selenium的交互操作与异常处理

在之前的学习中，我们掌握了Selenium的基本元素定位和数据获取方法。这篇文档进一步展示了Selenium与网页进行交互的能力，同时还涉及到处理交互过程中可能出现的异常。

（一）与网页元素交互

Selenium不仅能定位和获取元素信息，还能模拟用户操作网页元素。例如模拟在搜索框输入内容并点击搜索按钮，这在实际数据抓取场景中非常实用。就像我们想从某个电商平台搜索特定商品，然后抓取搜索结果页面的数据，就可以利用这些交互操作。
下面是一个简单的代码示例，模拟在百度搜索“Python学习资料”：

from selenium import webdriver

# 初始化浏览器驱动
driver = webdriver.Chrome()
# 打开百度首页
driver.get('https://www.baidu.com')
# 定位搜索框元素
search_box = driver.find_element_by_id('kw')
# 在搜索框中输入内容
search_box.send_keys('Python学习资料')
# 定位搜索按钮元素并点击
search_button = driver.find_element_by_id('su')
search_button.click()
# 后续可以继续定位搜索结果页面的元素进行数据抓取
# 这里简单打印当前页面标题表示操作成功
print(driver.title)
# 关闭浏览器
driver.quit()

在这段代码中，通过find_element_by_id方法定位到搜索框和搜索按钮元素，然后分别使用send_keys和click方法模拟输入和点击操作。

（二）异常处理优化

在使用Selenium与页面交互时，可能会遇到WebDriverException异常，这通常是由于Selenium与页面上的JavaScript冲突导致的。文档中提到，通过允许页面加载更长时间，再尝试操作，有时可以解决这个问题。这其实就是利用了Selenium的等待机制。
比如下面这个改进后的代码，在点击搜索按钮前增加了隐式等待：

from selenium import webdriver

driver = webdriver.Chrome()
driver.get('https://www.baidu.com')
search_box = driver.find_element_by_id('kw')
search_box.send_keys('Python学习资料')
# 设置隐式等待10秒
driver.implicitly_wait(10)
search_button = driver.find_element_by_id('su')
try:
    search_button.click()
    print(driver.title)
except Exception as e:
    print(f"出现异常: {e}")
finally:
    driver.quit()

在这段代码里，implicitly_wait(10)表示在查找元素时，如果元素没有立即出现，浏览器会等待最多10秒。同时，使用try - except - finally结构来捕获可能出现的异常，并在最后确保关闭浏览器。

二、Selenium的ActionChains与更多特性

Selenium的ActionChains类可以定义一系列操作，并按顺序执行，这在处理需要复杂交互的场景时非常有用。

（一）使用ActionChains遍历搜索结果

例如在谷歌搜索结果页面，通过ActionChains可以模拟鼠标移动到每个搜索结果上的操作。在实际应用中，有些网页的元素可能需要鼠标悬停才能显示更多信息，这时候ActionChains就能派上用场。
以下是一个模拟在某论坛搜索结果页面，鼠标悬停在每个帖子标题上的代码示例：

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import time

driver = webdriver.Chrome()
driver.get('https://example.forum.com/search?keyword=Python')
# 定位所有帖子标题元素
post_titles = driver.find_elements_by_css_selector('div.post-title a')
for title in post_titles:
    # 创建ActionChains对象
    action = ActionChains(driver)
    # 鼠标移动到帖子标题元素上
    action.move_to_element(title)
    # 执行操作
    action.perform()
    # 等待2秒，以便观察效果
    time.sleep(2)
driver.quit()

在这段代码中，先通过find_elements_by_css_selector获取所有帖子标题元素，然后使用ActionChains的move_to_element方法将鼠标移动到每个标题上，并通过perform方法执行操作，最后使用time.sleep暂停2秒，方便查看效果。

（二）探索Selenium的更多特性

Selenium还有很多其他实用的特性，比如显式等待，可以让浏览器等待直到一个特定的元素被加载，而不只是整个页面加载完成；处理警告，在网页弹出警告框时进行相应处理；保存截图，这对于调试非常有用，可以直观地查看页面在某个操作时的状态。
下面是一个使用显式等待的代码示例，等待页面上某个元素出现后再进行操作：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get('https://example.com/slow_loading_page')
# 显式等待，最多等待10秒，直到元素出现
element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.ID, 'target - element'))
)
# 对找到的元素进行操作，这里简单打印元素文本
print(element.text)
driver.quit()

在这段代码中，WebDriverWait和expected_conditions配合使用，等待ID为target - element的元素出现，然后对其进行操作。

三、无头浏览器的应用

无头浏览器在网页抓取中具有独特的优势，它可以在服务器上运行，运行速度快，能在更多平台上使用。

（一）PhantomJS的介绍与使用

PhantomJS是一款流行的无头浏览器工具，它可以与Selenium结合使用。虽然文档中未详细给出结合使用的代码示例，但原理是通过Selenium驱动PhantomJS打开网页并进行数据抓取。想象一下，我们要在服务器上定期抓取某个网站的数据，使用无头浏览器就可以避免启动图形化界面带来的资源消耗和兼容性问题。
以下是一个简单的使用PhantomJS和Selenium抓取网页标题的示例：

from selenium import webdriver

# 使用PhantomJS驱动
driver = webdriver.PhantomJS()
driver.get('https://www.example.com')
# 获取网页标题
title = driver.title
print(title)
# 关闭浏览器
driver.quit()

在这段代码中，通过webdriver.PhantomJS()初始化PhantomJS驱动，然后就可以像使用其他浏览器驱动一样进行网页操作。

（二）Ghost.py的使用

Ghost.py是另一个用于屏幕读取的工具，它基于Qt WebKit。使用Ghost.py前需要安装相关库，如PySide或PyQt。
下面是一个使用Ghost.py搜索Python官网并获取页面信息的代码示例：

from ghost import Ghost

# 创建Ghost对象
ghost = Ghost()
with ghost.start() as session:
    # 打开Python官网
    page, extra_resources = session.open('https://www.python.org')
    # 打印页面URL
    print(page.url)
    # 打印页面头部信息
    print(page.headers)
    # 打印页面内容（部分，这里只展示部分以避免输出过长）
    print(page.content[:500])
    # 遍历并打印其他资源URL
    for r in extra_resources:
        print(r.url)

在这段代码中，首先创建Ghost对象，然后使用session.open方法打开网页，获取页面和其他资源信息，并进行打印输出。

总结与期待

今天我们深入学习了Selenium的交互操作、异常处理、ActionChains以及无头浏览器PhantomJS和Ghost.py的相关知识。这些内容让我们在Python数据处理的网页抓取领域又前进了一大步。希望大家通过这些知识的学习，能够在实际项目中更加熟练地运用Python进行数据抓取和处理。

写作不易，如果这篇博客对你有所帮助，希望你能点赞、评论支持一下。也欢迎大家关注我的博客，后续我会继续分享更多Python数据处理相关的精彩内容，咱们一起在学习的道路上不断进步！