selenium+python-优快云博客

本文介绍如何利用Selenium工具结合Python实现自动化网页抓取，重点讲解了Selenium相较于其他工具的优势，如跨平台支持、多语言兼容及易于集成等特性，并提供了具体的示例代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原文链接：

http://www.cnblogs.com/fnng/archive/2013/05/29/3106515.html

1.起因：在网页抓取的过程中，有些内容是通过js加载的，但是直接抓取是抓取不到的

2.selenium+python 映入眼帘

3.selenium 是一个web的自动化测试工具，不少学习功能自动化的同学开始首选selenium ，相因为它相比QTP有诸多有点：

* 免费，也不用再为破解QTP而大伤脑筋

* 小巧，对于不同的语言它只是一个包而已，而QTP需要下载安装1个多G 的程序。

* 这也是最重要的一点，不管你以前更熟悉C、 java、ruby、python、或都是C# ，你都可以通过selenium完成自动化测试，而QTP只支持VBS

* 支持多平台：windows、linux、MAC ，支持多浏览器：ie、ff、safari、opera、chrome

* 支持分布式测试用例的执行，可以把测试用例分布到不同的测试机器的执行，相当于分发机的功能。

环境：window10+python3.5+selenium

4.1.安装selenium包：pip install selenium

from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.keys import Keys
import time

browser = webdriver.Firefox() # Get local session of firefox
browser.get("http://www.yahoo.com") # Load page
assert "Yahoo!" in browser.title　　
elem = browser.find_element_by_name("p") # Find the query box
elem.send_keys("seleniumhq" + Keys.RETURN)　　
time.sleep(0.2) # Let the page load, will be added to the API
try:
    browser.find_element_by_xpath("//a[contains(@href,'http://seleniumhq.org')]")
except NoSuchElementException:
    assert 0, "can't find seleniumhq"
browser.close()