【python模块】Selenium

声明：本文档或演示材料仅供教育和教学目的使用，任何个人或组织使用本文档中的信息进行非法活动，均与本文档的作者或发布者无关。

---

Selenium库

Selenium库是一个强大的Web自动化工具，允许开发者通过编写脚本来控制浏览器，实现网页的自动测试和数据抓取。它提供了WebDriver接口，支持多种浏览器，如Chrome、Firefox等。使用Selenium，可以模拟用户行为，如点击、输入、导航等，适用于自动化测试、爬虫开发等多种场景。

功能介绍

Selenium库提供了丰富的方法来模拟用户与浏览器的交互。以下是一些常用的Selenium WebDriver方法的介绍：

1. 初始化WebDriver:

   • webdriver.BrowserName(): 创建一个特定浏览器的WebDriver实例。

2. 导航:

   • get(url): 加载指定的URL。
   • back(): 后退到浏览器历史记录中的上一个页面。
   • forward(): 前进到浏览器历史记录中的下一个页面。
   • refresh(): 刷新当前页面。

3. 元素定位:

   • find_element(By.定位方式, 值): 查找页面上第一个匹配的元素。
   • find_elements(By.定位方式, 值): 查找页面上所有匹配的元素。

4. 元素交互:

   • click(): 点击元素。
   • clear(): 清除输入字段的内容。
   • send_keys(*value): 向输入字段发送键序列。
   • submit(): 提交表单。

5. 获取元素信息:

   • get_attribute(name): 获取元素的属性值。
   • text: 获取元素的文本内容。
   • tag_name: 获取元素的标签名。
   • is_displayed(): 检查元素是否可见。
   • is_enabled(): 检查元素是否启用。

6. 等待:

   • implicitly_wait(seconds): 设置隐式等待时间，用于等待页面元素加载。
   • WebDriverWait(driver, timeout).until(condition): 显式等待，直到某个条件成立。

7. 窗口和框架:

   • switch_to.window(name): 切换到指定名称的窗口。
   • switch_to.frame(element): 切换到指定的iframe。

8. 执行JavaScript:

   • execute_script(script): 在当前页面执行JavaScript代码。

9. 浏览器操作:

   • close(): 关闭当前窗口。
   • quit(): 关闭所有窗口并结束WebDriver会话。

10. 截图:

    • get_screenshot_as_file(filename): 将当前页面截图保存为文件。
    • get_screenshot_as_png(): 获取当前页面的截图数据。

11. Cookies操作:

    • add_cookie(cookie_dict): 添加一个cookie。
    • delete_cookie(name): 删除指定名称的cookie。
    • delete_all_cookies(): 删除所有cookies。

12. 浏览器设置:

    • set_page_load_timeout(time_to_wait): 设置页面加载超时时间。
    • set_script_timeout(time_to_wait): 设置脚本执行超时时间。

这些方法覆盖了从浏览器启动、页面导航、元素交互到浏览器关闭的整个流程，为自动化测试和网页自动化提供了强大的支持。

环境准备

• 安装Python。
• 安装Selenium库：pip install selenium。
• 下载对应浏览器的WebDriver。
  查看浏览器版本：edge://version/
  
  如图，我的版本为：126.0.2592.87 (正式版本) (64 位)
  驱动下载地址：https://developer.microsoft.com/zh-cn/microsoft-edge/tools/webdriver/
  
  将其解压到python解释器目录并重命名为MicrosoftWebDriver.exe
  输入cmd命令：py -0p
  

示例代码

抓取并展示指定网页上的所有链接信息

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Edge()

# 打开目标网页
driver.get('https://movie.douban.com/top250')

# 获取网页上所有的链接元素
links = driver.find_elements(By.TAG_NAME, 'a')

# 遍历链接，打印链接的文本和href属性
for link in links:
    print(f"链接文本: {link.text}")
    print(f"链接地址: {link.get_attribute('href')}\n")

# 关闭浏览器
driver.quit()

1. 导入了selenium模块的webdriver和By子模块。
2. 创建了一个Edge浏览器实例。
3. 通过driver.get方法打开了豆瓣电影Top250的网页。
4. 使用find_elements方法查找网页上所有的链接元素，并将其存储在links列表中。
5. 通过遍历links列表，打印出每个链接的文本和href属性。
6. 通过driver.quit方法关闭了浏览器。

抓取到了全部链接。

---

浮萍漂泊本无根，天涯游子君莫问。