Selenium用法笔记(解决动态渲染页面)

本文介绍了Selenium库在自动化测试和爬虫中的应用,详细讲解了如何安装和配置,包括声明浏览器对象、查找和交互元素、执行JavaScript、获取元素信息、处理Frame、等待策略以及异常处理。此外,还提到了前进后退、Cookies和选项卡操作等相关功能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Selenium库,主要用来做自动化测试,爬虫中用来解决JavaScript渲染的问题

需要安装selenium库,以及浏览器的驱动(Chrome浏览器安装ChromeDriver)

所有的WebDriverAPI

一、基本使用

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome()#声明浏览器对象
try:
    browser.get('https://www.baidu.com')#打开页面
    input = browser.find_element_by_id('kw')#根据ID找到对应的标签,这里是输入框
    input.send_keys('Python')             #输入文字
    input.send_keys(Keys.ENTER)            #模拟回车
    wait = WebDriverWait(browser, 10)      #创建一个等待10秒的对象
    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))    #等待直到某个标签加载出来
    print(browser.current_url)
    print(browser.get_cookies())
    print(browser.page_source)
finally:
    browser.close()

二、声明浏览器对象(需要安装相应浏览器的驱动)

from selenium import webdriver

browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

三、查找元素

单个元素

例子:获取淘宝输入框
在这里插入图片描述

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')

input_1 = browser.find_element_by_id('q')
input_2 = browser.find_element_by_css_selector('#q')
input_3 = browser.find_element_by_class_
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值