Selenium库的使用_selenium c++-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_27710237/article/details/80740817

Selenium库的使用

官方文档：http://selenium-python.readthedocs.io

基本使用

在百度搜索“python”，获得url，cookies和html代码。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait

browser = webdriver.Chrome()                    # 声明浏览器
try:
    browser.get('https://www.baidu.com')        # 访问网页
    input = browser.find_element_by_id('kw')
    input.send_keys('Python')
    input.send_keys(Keys.ENTER)
    wait = WebDriverWait(browser, 10)
    wait.until(EC.presence_of_element_located((By.ID, 'content_left')))
    print(browser.current_url)
    print(browser.get_cookies())
    print(browser.page_source)
finally:
    browser.close()

1 主要浏览器

browser = webdriver.Chrome()            # 谷歌浏览器
browser = webdriver.Firefox()           # 火狐浏览器
browser = webdriver.Edge()              # IE
browser = webdriver.PhantomJS()         # PhantomJS无界面浏览器
browser = webdriver.Safari()            # safari浏览器

2 查找元素

input_first = browser.find_element_by_id('q')           # 类型为WebElement 
input_second = browser.find_element_by_css_selector('#q')
input_third = browser.find_element_by_xpath('//*[@id="q"]')

查找单个元素

find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
find_elements_by_以上             # 查找多个元素，返回列表

查找多个元素

find_element(By.ID, value)
find_element(By.TAG_NAME, value)
find_element(By.CLASS_NAME, value)
find_element(By.NAME, value)
find_elements(以上)                   # 查找多个元素，返回列表

3 交互

3.1 元素交互操作

对获取的元素调用交互方法。

from selenium import webdriver
import time

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input = browser.find_element_by_id('q')
input.send_keys('iPhone')
time.sleep(1)
input.clear()
input.send_keys('iPad')
button = browser.find_element_by_class_name('btn-search')
button.click()

3.2 交互动作

将动作附加到动作链中串行执行。

from selenium import webdriver
from selenium.webdriver import ActionChains

browser = webdriver.Chrome()
browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
browser.switch_to.frame('iframeResult')              # 切换到id为iframeResult的Frame中
source = browser.find_element_by_css_selector('#draggable')
target = browser.find_element_by_css_selector('#droppable')
actions = ActionChains(browser)
actions.drag_and_drop(source, target)               # 拖放
actions.perform()

3.3 执行JavaScript

前两种方法很难实现时，可以用JavaScript。

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')

4 获取元素信息

获取属性、文本值、ID、位置、标签名、大小

from selenium import webdriver

browser = webdriver.Chrome()
url = 'https://www.baidu.com'
browser.get(url)
x = browser.find_element_by_name('tj_trnews')

print(x.get_attribute('class'))
print(x.text)
print(x.id)
print(x.location)
print(x.tag_name)
print(x.size)

输出：
mnav
新闻
0.9159026222117683-1
{'y': 19, 'x': 573}
a
{'width': 26, 'height': 24}

5 Frame

在父Frame中获取不到子Frame的元素，在子Frame中获取不到父Frame的元素。

import time
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException

browser = webdriver.Chrome()
browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
browser.switch_to.frame('iframeResult')     # 切换到id为iframeResult的Frame中
source = browser.find_element_by_css_selector('#draggable')
print(source)
try:
    logo = browser.find_element_by_class_name('logo')
except NoSuchElementException:
    print('NO LOGO')
browser.switch_to.parent_frame()            # 切换到父Frame去
logo = browser.find_element_by_class_name('logo')
print(logo)
print(logo.text)

6 等待

6.1 隐式等待

当使用了隐式等待执行测试的时候，如果 WebDriver没有在 DOM中找到元素，将继续等待，超出设定时间后则抛出找不到元素的异常, 换句话说，当查找元素或元素并没有立即出现的时候，隐式等待将等待一段时间再查找 DOM，默认的时间是0。

from selenium import webdriver

browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get('https://www.zhihu.com/explore')
input = browser.find_element_by_class_name('zu-top-add-question')
print(input)

6.2 显式等待

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Chrome()
browser.get('https://www.taobao.com/')

wait = WebDriverWait(browser, 10)
input = wait.until(EC.presence_of_element_located((By.ID, 'q')))
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '.btn-search')))

print(input, button)

6.3 定时等待

import time

time.sleep(1)

更多条件	描述
title_is	标题是某内容
title_contains	标题包含某内容
presence_of_element_located	元素加载出，传入定位元组，如(By.ID, ‘p’)
visibility_of_element_located	元素可见，传入定位元组
visibility_of	可见，传入元素对象
presence_of_all_elements_located	所有元素加载出
text_to_be_present_in_element	某个元素文本包含某文字
text_to_be_present_in_element_value	某个元素值包含某文字
frame_to_be_available_and_switch_to_it	frame加载并切换
invisibility_of_element_located	元素不可见
element_to_be_clickable	元素可点击
staleness_of	判断一个元素是否仍在DOM，可判断页面是否已经刷新
element_to_be_selected	元素可选择，传元素对象
element_located_to_be_selected	元素可选择，传入定位元组
element_selection_state_to_be	传入元素对象以及状态，相等返回True，否则返回False
element_located_selection_state_to_be	传入定位元组以及状态，相等返回True，否则返回False
alert_is_present	是否出现Alert

详细内容：http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.support.expected_conditions

7 Cookies

获取、增加、删除cookies

browser.get_cookies()
browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})
browser.delete_all_cookies()

8 前进后退

import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com/')
browser.get('https://www.taobao.com/')
browser.back()
time.sleep(1)
browser.forward()
browser.close()

9 选项卡管理

import time
from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.execute_script('window.open()')         # 新建一个空白选项卡
print(browser.window_handles)                   
browser.switch_to_window(browser.window_handles[1]) # 切换到第2个选项卡
browser.get('https://www.taobao.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0]) # 切换到第1个选项卡
browser.get('https://python.org')

10 异常处理

from selenium import webdriver
from selenium.common.exceptions import TimeoutException, NoSuchElementException

browser = webdriver.Chrome()
try:
    browser.get('https://www.baidu.com')
except TimeoutException:
    print('Time Out')
try:
    browser.find_element_by_id('hello')
except NoSuchElementException:
    print('No Element')
finally:
    browser.close()

详细文档：http://selenium-python.readthedocs.io/api.html#module-selenium.common.exceptions