Python3爬虫入门之selenium库的用法

最新推荐文章于 2025-05-21 14:28:55 发布
原创 最新推荐文章于 2025-05-21 14:28:55 发布 · 2.1k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文详细介绍Selenium的基本使用方法，包括浏览器对象的声明、页面访问、元素查找与交互、执行JavaScript等高级操作。同时介绍了如何处理等待、Cookies及选项卡管理等常见任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Selenium

基本使用

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome()  # 声明浏览器对象 
try:
    browser.get('https://www.baidu.com')
    input = browser.find_element_by_id('kw')  # 找到id为kw的元素
    input.send_keys('Python')  # 敲入Python
    input.send_keys(Keys.ENTER)  # 敲入回车
    wait = WebDriverWait(browser, 10)
    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))  # 等待某个元素加载出来
    print(browser.current_url)
    print(browser.get_cookies())
    print(browser.page_source)  # 网页源代码
finally:
    browser.close()

声明浏览器对象

from selenium import webdriver

browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

访问页面

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
print(browser.page_source)
browser.close()

查找元素

单个元素

element

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input_first = browser.find_element_by_id('q')  #　寻找 id='q'的元素
input_second = browser.find_element_by_css_selector('#q')  # 通过css选择器选择
input_third = browser.find_element_by_xpath('//*[@id="q"]')  # 同上
print(input_first, input_second, input_third)
browser.close()

查找单个元素的方法
* find_element_by_name
* find_element_by_xpath
* find_element_by_link_text
* find_element_by_partial_link_text
* find_element_by_tag_name
* find_element_by_class_name
* find_element_by_css_selector

通用查找写法

from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input_first = browser.find_element(By.ID, 'q')
print(input_first)
browser.close()

多个元素

elements

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
lis = browser.find_elements_by_css_selector('.service-bd li')
print(lis)
browser.close()
from selenium import webdriver
from selenium.webdriver.common.by import By

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
lis = browser.find_elements(By.CSS_SELECTOR, '.service-bd li')
print(lis[0])
browser.close()
  • find_elements_by_name
  • find_elements_by_xpath
  • find_elements_by_link_text
  • find_elements_by_partial_link_text
  • find_elements_by_tag_name
  • find_elements_by_class_name
  • find_elements_by_css_selector

元素交互操作

  1. 先获取元素。
  2. 对获取的元素调用交互方法
from selenium import webdriver
import time

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input = browser.find_element_by_id('q')  # 找到搜索框
input.send_keys('iPhone')  # 输入 iPhone
time.sleep(1)  # 等待一秒
input.clear()  # 清空文本框
input.send_keys('iPad')  # 输入ipad
button = browser.find_element(By.CLASS_NAME,'btn-search')  # 找到搜索按钮
button.click()  # 点击
browser.close()

更多操作: http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.remote.webelement

交互动作

将动作附加到动作链中串行执行

from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()  # 声明浏览器对象
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')  #切换到‘iframeResult’框架
source = browser.find_element_by_css_selector('#draggable')  # 选择元素
target = browser.find_element_by_css_selector('#droppable')  # 选择元素 
actions = ActionChains(browser)  # 声明一个动作链对象
actions.drag_and_drop(source, target)  # 拖拽方法
actions.perform()  # 执行动作

更多操作: http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains

执行JavaScript

执行一些交互动作时，可能一些动作没有提供API。

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')

获取元素信息

获取属性

* .get_attribute(“class”) *

from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
logo = browser.find_element_by_id('zh-top-link-logo')
print(logo)
print(logo.get_attribute('class'))

获取文本值

* .text*

from selenium import webdriver

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.text)

获取ID、位置、标签名、大小

from selenium import webdriver

browser = webdriver.Chrome()
url = 'https://www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.id)
print(input.location)
print(input.tag_name)
print(input.size)

Frame

父级的frame要查找子级的frame必须要切换到子frame，否则不能查找。
同理子frame也不能查找父frame的元素。

import time
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException

browser = webdriver.Chrome()  # 声明浏览器对象
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'  # 声明网址
browser.get(url)  # get传入网址
browser.switch_to.frame('iframeResult')  # 切换到子frame
source = browser.find_element_by_css_selector('#draggable')  # 查找子frame中的元素
print(source)
try:
    logo = browser.find_element_by_class_name('logo')
except NoSuchElementException:
    print('NO LOGO')
browser.switch_to.parent_frame()  # 切换到父frame
logo = browser.find_element_by_class_name('logo')
print(logo)
print(logo.text)

等待

隐式等待

当使用了隐式等待执行测试的时候，如果 WebDriver没有在 DOM中找到元素，将继续等待，超出设定时间后则抛出找不到元素的异常, 换句话说，当查找元素或元素并没有立即出现的时候，隐式等待将等待一段时间再查找 DOM，默认的时间是0

from selenium import webdriver

browser = webdriver.Chrome()
browser.implicitly_wait(10)  # 传入隐式等待的时间
browser.get('https://www.zhihu.com/explore')
input = browser.find_element_by_class_name('zu-top-add-question')
print(input)

显式等待

* .WebDriverWait(对象，最长等待时间)*

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()
browser.get('https://www.taobao.com/')
wait = WebDriverWait(browser, 10)  # 声明一个等待对象
# 判断元素是否加载
input = wait.until(EC.presence_of_element_located((By.ID, 'q')))  # 传入等待条件
# # 判断是否可点击的，一般用来判断是否为按钮
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))  
print(input, button)
  • title_is 标题是某内容
  • title_contains 标题包含某内容
  • presence_of_element_located 元素加载出，传入定位元组，如(By.ID, ‘p’)
  • visibility_of_element_located 元素可见，传入定位元组
  • visibility_of 可见，传入元素对象
  • presence_of_all_elements_located 所有元素加载出
  • text_to_be_present_in_element 某个元素文本包含某文字
  • text_to_be_present_in_element_value 某个元素值包含某文字
  • frame_to_be_available_and_switch_to_it frame加载并切换
  • invisibility_of_element_located 元素不可见
  • element_to_be_clickable 元素可点击
  • staleness_of 判断一个元素是否仍在DOM，可判断页面是否已经刷新
  • element_to_be_selected 元素可选择，传元素对象
  • element_located_to_be_selected 元素可选择，传入定位元组
  • element_selection_state_to_be 传入元素对象以及状态，相等返回True，否则返回False
  • element_located_selection_state_to_be 传入定位元组以及状态，相等返回True，否则返回False
  • alert_is_present 是否出现Alert

详细内容：http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.support.expected_conditions

前进后退

import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com/')
browser.get('https://www.taobao.com/')
browser.get('https://www.python.org/')
browser.back()
time.sleep(1)
browser.forward()
browser.close()

Cookies

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
print(browser.get_cookies())
browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())

选项卡管理

import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.execute_script('window.open()')  # 通过执行一个js语句来新建选项卡
print(browser.window_handles)  # 返回所有的选项卡的引用
browser.switch_to_window(browser.window_handles[1])
browser.get('https://www.taobao.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get('https://python.org')

异常处理

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.find_element_by_id('hello')
from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException

browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
except TimeoutException:
    print('Time Out')
try:
    browser.find_element_by_id('hello')
except NoSuchElementException:
    print('No Element')
finally:
    browser.close()

详细文档：http://selenium-python.readthedocs.io/api.html#module-selenium.common.exceptions

Python爬虫之selenium深入解读【从入门到实战】
景天科技苑
12-29 1万+
Selenium在爬虫中占据比较重要的地位。我们在抓取一些普通网页的时候requests基本上是可以满足的. 但是, 如果遇到一些特殊的网站. 它的数据是经过加密的.但是呢, 浏览器却能够正常显示出来. 那我们通过requests抓取到的内容可能就不是我们想要的结果了. 例如,电影票房数据. 在浏览器上看的时候是正常的. 那么按照之前的逻辑. 我们只需要看看数据是通过哪个请求拿到的就可以进行模拟请求了. 但是数据找到了.结果是经过加密算法的
python selenium 爬虫教程_python selenium爬虫
2401_84140428的博客
04-28 457
【代码】python selenium 爬虫教程_python selenium爬虫。
【Python】Python3网络爬虫实战-37、动态渲染页面抓取:Selenium
Python8年程序员教程分享
07-29 929
在前面一章我们了解了 Ajax 的分析和抓取方式，这种页面其实也是 JavaScript 动态渲染的页面的一种情形，通过直接分析 Ajax 我们仍然可以借助于 Requests 或 Urllib 来实现数据的抓取。 不过 JavaScript 动态渲染的页面不止 Ajax 这一种。比如中国青年网：http://news.youth.cn/gn/，它的分页部分是由 JavaScript 生成的，并非...
Python3中Selenium使用方法
测试界的彭于晏的博客
09-14 3359
Selenium的使用 基本使用 首先我们来大体看一下Selenium有一些怎样的功能，先用一段实例代码来演示一下： 运行代码之后，如果正确配置好了ChromeDriver，可以发现会自动弹出一个浏览器，浏览器首先会跳转到百度，然后在搜索框中输入Python进行搜索，然后跳转到搜索结果页，等待搜索结果加载出来之后，控制台分别会输出当前的URL，当前的Cookies还有网页源代码。 控制台输出结果： 源代码过长在此省略，那么当前的URL，Cookies，源代码都是浏览器中的真实内容。所以说，如果我们用Se
(6)python爬虫--selenium
最新发布
2401_84892260的博客
05-21 2771
selenium 不仅简化了 Web 自动化测试的流程，还为数据采集和动态网页交互提供了强大的支持。借助 Python 的灵活性和 Selenium 的丰富功能，开发者能够高效地完成复杂的任务，无论是自动化测试、爬虫开发，还是网页监控。
[Python3网络爬虫开发实战] 7.1-Selenium的使用
weixin_34190136的博客
09-11 764
Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些JavaScript动态渲染的页面来说，此种抓取方式非常有效。本节中，就让我们来感受一下它的强大之处吧。 1. 准备工作 本节以Chrome为例来讲解Selenium的用法。在开始之前，请确保已经正确安装好了Chrome浏览器并配置好...
selenium库的使用
Jitwxs
03-25 1092
Chrome driver下载地址： http://chromedriver.storage.googleapis.com/index.html chrome和chrome driver对应版本： chromedriver版本 支持的Chrome版本 v2.28 v55-57 v2.27 v54-56 v2.26 v53-55
Python3的selenium库常用方法总结
墨痕诉清风的博客
08-23 1375
Selenium-WEB自动化工具简介：Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器：IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。测试与浏览器的兼容性—支持多种平台和多种浏览器，测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能—创建回归测试检验软件功能和用户需求。
python爬虫Selenium库详细教程_python爬虫之selenium库的使用详解
m0_61068496的博客
05-06 810
④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）①　2000多本Python电子书（主流和经典的书籍应该都有了）③　项目源码（四五十个有趣且经典的练手项目及源码）⑤ Python学习路线图（告别不入流的学习）添加图片注释，不超过 140 字（可选）②　Python标准库资料（最全中文版）下面是详细的元素查找方法。2.7 获取元素信息。2.7.1 获取属性。2.9.1 隐式等待。2.9.2 显式等待。
python爬虫入门案例和库解读
01-07
这个入门案例和库解读将带你深入理解Python爬虫的基本原理和常用工具。以下是对这些主题的详细解析。 首先，Python之所以在爬虫领域备受青睐，是因为其语法简洁、库丰富以及强大的文本处理能力。在Python中，我们...
【Python】Selenium基础入门
weixin_45698637的博客
06-09 3790
selenium基本操作
python中selenium库的基本使用详解
09-16
主要介绍了python中selenium库的基本使用详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
【小5聊】Python3 使用selenium模块实现简单爬虫系列一
小5聊的博客
12-20 983
第一次听说Python还是在工作的时候，还是一位女生在用，当时她说可以用来处理excel文档，特别是一些统计分析。第二次让我真正进入python世界，还是在一次C站举办的大赛上。聊聊你是因为什么机缘巧合进入到python圈的呢？不妨留言说说
Selenium库的基本用法总结
Money多多
01-13 3480
# !/usr/bin/env python # -*- coding:utf-8 -*- from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By from selenium.webdriver.common
Python中selenium库的用法详解
软件测试小dao
12-20 1626
selenium主要是用来做自动化测试，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。模拟浏览器进行网页加载，当requests,urllib无法正常获取网页内容的时候
python3 selenium教程_Selenium+python3
weixin_42471893的博客
02-20 252
18.from selenium import webdriverfrom selenium.webdriver import ChromeOptionsoption = ChromeOptions()option.add_experimental_option('excludeSwitches', ['enable-automation'])option.add_experimental_opt...
selenium库的基本使用
顺其自然~专栏
08-20 1223
selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括等。selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。Selenium的核心Selenium Core基于JsUnit。
Python3爬虫入门指南：从基础到实践
"这篇文档是关于使用Python3编写网络爬虫的教程，涵盖了从Python基础知识到高级爬虫技术的多个方面...这个教程全面覆盖了Python3爬虫的各个环节，从基础到高级，从单机爬虫到分布式系统，是学习Python爬虫的宝贵资源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值