Selenium用法笔记（解决动态渲染页面）

最新推荐文章于 2025-06-26 15:42:28 发布

StarLord007

最新推荐文章于 2025-06-26 15:42:28 发布

阅读量6.2k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：爬虫

本文链接：https://blog.youkuaiyun.com/q1694222672/article/details/82836315

本文介绍了Selenium库在自动化测试和爬虫中的应用，详细讲解了如何安装和配置，包括声明浏览器对象、查找和交互元素、执行JavaScript、获取元素信息、处理Frame、等待策略以及异常处理。此外，还提到了前进后退、Cookies和选项卡操作等相关功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Selenium库，主要用来做自动化测试，爬虫中用来解决JavaScript渲染的问题

需要安装selenium库，以及浏览器的驱动（Chrome浏览器安装ChromeDriver）

所有的WebDriverAPI

一、基本使用

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome()#声明浏览器对象
try:
    browser.get('https://www.baidu.com')#打开页面
    input = browser.find_element_by_id('kw')#根据ID找到对应的标签，这里是输入框
    input.send_keys('Python')             #输入文字
    input.send_keys(Keys.ENTER)            #模拟回车
    wait = WebDriverWait(browser, 10)      #创建一个等待10秒的对象
    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))    #等待直到某个标签加载出来
    print(browser.current_url)
    print(browser.get_cookies())
    print(browser.page_source)
finally:
    browser.close()

二、声明浏览器对象（需要安装相应浏览器的驱动）

from selenium import webdriver

browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

三、查找元素

单个元素

例子：获取淘宝输入框
在这里插入图片描述

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')

input_1 = browser.find_element_by_id('q')
input_2 = browser.find_element_by_css_selector('#q')
input_3 = browser.find_element_by_class_