07-Selenium基础

最新推荐文章于 2025-07-22 10:25:29 发布
最新推荐文章于 2025-07-22 10:25:29 发布
阅读量436 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： python_爬虫 Python3爬虫之路 文章标签： python3 爬虫 selenium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/NightCharm/article/details/79592275
本文详细介绍Selenium自动化测试工具的基本使用方法，包括安装配置、浏览器驱动、页面访问、元素查找及交互操作等内容，并提供了丰富的示例代码。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Selenium

自动化测试工具， 支持多种浏览器。 爬虫中主要用来解决JavaScript渲染的问题

驱动浏览器来做各种动作（跳转、查询、……）——支持主流浏览器
模拟浏览器访问，拿到浏览器渲染后的页面

安装

pip install selenium

基本使用

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
    input = browser.find_element_by_id('kw') # 找到id 为kw的键
    input.send_keys('Python') # 在这个键 中输入Python内容
    input.send_keys(Keys.ENTER) # 回车
    wait = WebDriverWait(browser, 10) 
    wait.until(EC.presence_of_element_located((By.ID,'content_left'))) # 等待id为content_left 的内容加载完毕
    print(browser.current_url) # 打印url
    print(browser.get_cookies()) # 打印cookies
    print(browser.page_source) # 打印源代码
finally:
    browser.close() # 关闭页面

声明浏览器对象

from selenium import webdriver

browser = webdriver.Chrome() # 声明一个CHrome浏览器对象
browser = webdriver.Firefox() # 声明
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

访问页面

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
print(browser.page_source)
browser.close()

​

查找元素

单个元素
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input_first = browser.find_element_by_id('q')
input_second = browser.find_element_by_css_selector('#q')
input_third = browser.find_element_by_xpath('//*[@id="q"]')
print(input_first, input_second, input_third)
browser.close()
<selenium.webdriver.remote.webelement.WebElement (session="140e689c70a2e97e1c01ae7b5e54a03c", element="0.9239366371945823-1")> <selenium.webdriver.remote.webelement.WebElement (session="140e689c70a2e97e1c01ae7b5e54a03c", element="0.9239366371945823-1")> <selenium.webdriver.remote.webelement.WebElement (session="140e689c70a2e97e1c01ae7b5e54a03c", element="0.9239366371945823-1")>

​

  • find_element_by_name
  • find_element_by_xpath
  • find_element_by_link_text
  • find_element_by_tag_name
  • find_element_by_class_name
  • find_element_by_css_selector
from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input_first = browser.find_element(By.ID, 'q')
print(input_first)
browser.close()
<selenium.webdriver.remote.webelement.WebElement (session="2b9165a8730071b1c3b342eadb33f37d", element="0.26846444387513646-1")>

​

多个元素
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
lis = browser.find_elements_by_css_selector('.service-bd li')
print(lis)
browser.close()
[<selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-1")>, <selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-2")>, <selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-3")>, <selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-4")>, <selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-5")>, <selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-6")>, <selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-7")>, <selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-8")>, <selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-9")>, <selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-10")>, <selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-11")>, <selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-12")>, <selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-13")>, <selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-14")>, <selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-15")>, <selenium.webdriver.remote.webelement.WebElement (session="ece0ac0a8bc7840faaf9fa5b2537c35d", element="0.5686549757453516-16")>]

​ 

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
lis = browser.find_elements(By.CSS_SELECTOR, '.service-bd li')
print(lis)
browser.close()
[<selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-1")>, <selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-2")>, <selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-3")>, <selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-4")>, <selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-5")>, <selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-6")>, <selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-7")>, <selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-8")>, <selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-9")>, <selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-10")>, <selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-11")>, <selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-12")>, <selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-13")>, <selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-14")>, <selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-15")>, <selenium.webdriver.remote.webelement.WebElement (session="2fd570f9d8e1015e3b8dc935542db219", element="0.36423297915728003-16")>]

​

  • find_elements_by_name
  • find_elements_by_xpath
  • find_elements_by_link_text
  • find_elements_by_partial_link_text
  • find_elements_by_tag_name
  • find_elements_by_class_name
  • find_elements_by_css_selector

元素交互操作

对获取的元素调用交互方法

from selenium import webdriver
import time
]
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input = browser.find_element_by_id('q')
input.send_keys('iPhone')
time.sleep(5)
input.clear()
input.send_keys('iPad')
button = browser.find_element_by_class_name('btn-search')
button.click()

交互动作

将动作附加到动作链中串行执行

from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')
source = browser.find_element_by_css_selector('#draggable')
target = browser.find_element_by_css_selector('#droppable')
actions = ActionChains(browser)
actions.drag_and_drop(source, target)
actions.perform()

执行JavaScript

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')

获取元素信息

获取属性

from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
logo = browser.find_element_by_id('zh-top-link-logo')
print(logo)
print(logo.get_attribute('class'))
<selenium.webdriver.remote.webelement.WebElement (session="dbcb58c81f345e6baefe14f449a81559", element="0.23926475887966325-1")>
zu-top-link-logo

获取文本值

from selenium import webdriver

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.text)
提问

​

获取ID、位置、标签名、大小

from selenium import webdriver

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.id)
print(input.location)
print(input.tag_name)
print(input.size)
0.6622234120324215-1
{'x': 758, 'y': 7}
button
{'height': 32, 'width': 66}

Frame

相当于一个独立的网页嵌入，如果在父级Frame想查找子级Frame 必须将页面切换到子级Frame 才能进行查找

import time
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException

browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')
source = browser.find_element_by_css_selector('#draggable')
print(source)
try:
    logo = browser.find_element_by_class_name('logo')
except NoSuchElementException:
    print('No Logo')
browser.switch_to.parent_frame()
logo = browser.find_element_by_class_name('logo')
print(logo)
print(logo.text)
print(logo.get_attribute('class'))
<selenium.webdriver.remote.webelement.WebElement (session="3babf5d126171225ac7e648935c6cdbc", element="0.5865806992227736-1")>
No Logo
<selenium.webdriver.remote.webelement.WebElement (session="3babf5d126171225ac7e648935c6cdbc", element="0.8736718201387208-2")>
RUNOOB.COM
navbar-header logo

等待

隐式等待

当使用了隐式等待执行测试的时候，如果WebDriver没有在DOM中找到元素，将继续等待，超出设定时间后则抛出找不到元素异常，换句话说当查找元素或元素没有立即出现的时候，隐式等待将等待一段时间再查找DOM，默认时间为0

from selenium import webdriver

browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get('https://zhihu.com/explore')
input = browser.find_element_by_class_name('zu-top-add-question')
print(input)
<selenium.webdriver.remote.webelement.WebElement (session="50f05e319852de6a485f641d13b4c35a", element="0.22632707900120286-1")>

​

显示等待

指定一个等待条件和最长等待时间，会在等待时间中判断条件是否成立，如果成立则会立即返回，如果不成立则会一直等待，如果超过等待时间 则会抛出异常

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
wait = WebDriverWait(browser, 10)
input = wait.until(EC.presence_of_element_located((By.ID,'q')))
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'.btn-search')))
print(input, button)
<selenium.webdriver.remote.webelement.WebElement (session="72a244279181ef8f8e2c9157bd8e64a6", element="0.7878713628776868-1")> <selenium.webdriver.remote.webelement.WebElement (session="72a244279181ef8f8e2c9157bd8e64a6", element="0.7878713628776868-2")>

​

  • title_is 标题是某内容
  • title_contains 标题包含某内容
  • presence_of_element_located 元素加载出，传入定位元组， 如（By.ID,’p’）
  • visibility_of_element_located 元素可见，传入定位元组
  • visibility_of 可见， 传入元素对象
  • presence_of_all_elements_located 所有元素加载出
  • text_to_be_present_in_element 某个元素文本包含某文字
  • text_to_be_present_in_element_value 某个元素包含某文字
  • frame_to_be_available_and_switch_to_it frame加载并切换
  • invisibility_of_element_located 元素不可见
  • element_to_be_clickable 元素可点击
  • staleness_of 判断一个元素是否仍在DOM，可判断页面是否已经刷新
  • element_to_be_selected 元素可选择，传元素对象
  • element_located_to_be_selected 元素可选择，传定位元组
  • element_selection_state_to_be 传入元素对象及状态，相等返回Ture，否则返回False
  • alert_is_present 是否出现Alert

前进后退

import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.get('https://www.taobao.com')
browser.get('https://www.python.org')
browser.back()
time.sleep(10)
browser.forward()
time.sleep(10)
browser.close()

Cookies

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
print(browser.get_cookies())
browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com','value': 'Night'})
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())

管理选项卡

通过js手动打开一个新页面
然后通过 browser.switch_to_window() 跳转 选项卡
在打开页面

import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.execute_script('window.open()')
print(browser.window_handles)
browser.switch_to_window(browser.window_handles[1]) # 设置当前选项卡
browser.get('https://www.taobao.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get('https://python.org')
['CDwindow-(5C5B79F87A42E4CA1B11BC99B5F22E82)', 'CDwindow-(AC524DF290CE5D4847C861BDA5A0978)']

​

异常处理

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.find_element_by_id('hello')

NoSuchElementException: Message: no such element: Unable to locate element: {"method":"id","selector":"hello"}

from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException

browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
except TimeoutException:
    print('Time Out')

try:
    browser.find_element_by_id('hello')
except NoSuchElementException:
    print('No Element')
finally:
    browser.close()
No Element

​

Selenium：SeleniumWebDriver基础操作教程_2024-07-23_22-18-50.Tex
12-22 1416
在开始使用Selenium WebDriver之前，确保你的开发环境已经安装了Java。Java环境是Selenium WebDriver运行的基础，因为Selenium提供了Java API来控制浏览器。
Selenium：Selenium多浏览器与多平台测试_2024-07-23_23-19-18.Tex
12-22 1107
在开始使用Selenium进行多浏览器与多平台测试之前，首先需要在你的开发环境中安装Selenium库。Selenium支持多种编程语言，如Python、Java、C#等。这里以Python为例，介绍如何安装Selenium。确保你的Python环境已正确配置，且pip工具可用。
selenium基础
02-28
selenium基础selenium基础
Selenium基础知识
PereTang
06-06 798
Selenium一个自动测试工具, 用于自动化功能测试, 支持在不同的浏览器上执行测试, 其具有更容易完成回归测试, 生成缺陷报告给开发人员与测试人员提供反馈等特性. 本文章从什么是Selenium, 为什么要用Selenium, 和Selenium组件的介绍等几个方面来介绍Selenium这个自动化测试工具.
Selenium基础
weixin_33976072的博客
02-18 254
一、什么是selenium Selenium的核心Selenium Core基于JsUnit，完全由JavaScript编写，因此可以用于任何支持JavaScript的浏览器上。 selenium可以模拟真实浏览器，自动化测试工具，支持多种浏览器 二、selenium webdriver定位元素的八种方式 在使用selenium webdriver进行元素定位时，通常使用findEleme...
python自动答题软件_广东开放大学（广开）线上作业自动答题python-selenium
weixin_39862697的博客
12-02 3996
今天分享一个自己实现广开线上作业自动答题的思路，使用的是python的第三方库selenium，我是python初学者，因为自己写的代码比较杂乱多，所以代码仅供参考。准备：1、下载浏览器驱动，我的是火狐浏览器(链接：https://pan.baidu.com/s/1mdZEMYZBHfE1VWsKfeGUAg 提取码：1evr )，直接放在python的原目录下(C:\Users\Administ...
Selenium：Selenium处理弹出窗口与警告框_2024-07-23_23-09-39.Tex
12-22 842
Selenium WebDriver提供了更底层的浏览器控制，它通过浏览器的原生支持来驱动浏览器，而不是像Selenium RC那样通过JavaScript。WebDriver可以打开、关闭浏览器，执行页面上的操作，如点击、输入文本等。它还提供了等待机制，可以等待页面元素加载完成，避免了测试脚本的假阳性结果。通过上述示例，我们可以看到Selenium提供了强大的API来处理各种弹出窗口和警告框。
Scrapy与Selenium强强联合：打造新一代智能爬虫系统
最新发布
2201_76125261的博客
07-22 521
本文详细探讨了如何将Scrapy框架与Selenium工具相结合，构建高效、稳定的现代网络爬虫系统。文章从基础概念入手，逐步深入讲解集成方法、高级技巧和实战应用，涵盖了动态网页爬取、反爬策略应对、性能优化等核心内容。通过多个实际案例和完整代码示例，展示了这一技术组合的强大能力，为爬虫开发者提供了全面的技术参考。关键词：Scrapy、Selenium、Python爬虫、动态网页抓取、反爬虫对策、分布式爬虫在items.py中：python复制下载。
Selenium基础入门
12-04
Selenium基础入门
selenium 基础1
z278718149的专栏
08-16 290
selenium 通过id,name,class,css,xpath,tag,linktext,partial link 定位web 页面元素 文本框交互：可以通过SendKeys 方法把值转换成文本框内 单选按钮：可以使用click 方法选中按钮 复选框交互：可以使用click 方法选中按钮 下拉框交互：可以使用"selectByVisibleText"或"selectByIndex"或"se...
selenium基本入门
chenzi_zww的博客
11-08 462
Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。 [ 百度百科 ] 准备资源☆ eclipse和java环境JDK ☆ 火狐浏览器及其插件：firebug、selenium IDE ☆
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值