Selenium基本操作

1.声明浏览器对象

browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()

2.访问页面

from selenium import webdriver
browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.close()

3.查找节点

单个节点:find_element，节点都是WebElement类型

多个节点:find_elements，列表类型

x1 = browser.find_elements_by_id('q')
x2 = browser.find_elements_by_xpath('//a[@class="x2"]')
x3 = browser.find_element_by_name('li')

x1 = browser.find_element(By.ID,'q')
x2 = browser.find_element(By.XPATH,'//a[@class="x2"]')
x3 = browser.find_element(By.NAME,'li')

4.节点交互

x1.send_keys('iPhone')
#输入
x1.clear()
#清空
x2.click()
#点击

5.获取节点信息

id = x1.get_attribute('id')
#传入属性名，获取属性值
text = x1.text
#获取文本值
l = x1.location
#获取节点在页面的相对位置,l['x'],l['y']
s = x1.size
#获取节点大小,高:s['height']，宽:s['width']

6.动作链

actions = ActionChains(browser)
actions.perform()

 

#滑块的移动
ActionChains(self.brower).click_and_hold(slider).perform()
time.sleep(1)
for x in track:
    ActionChains(self.brower).move_by_offset(x, 0).perform()
    time.sleep(1)
ActionChains(self.brower).release().perform()

7.执行JavaScript

模拟下拉页面

browser.execute_script('alter("To Bottom")')
#警告弹窗
browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
#下拉至底部

8.切换Frame

frameset 内的frame和 外的frame同级不用切换

browser.switch_to.frame('id or class')
browser.switch_to.parent_frame()

9.延时等待

隐式等待

当查找节点而节点没有立即出现时，会等待一段时间，默认是0，全局作用

browser.implicitly_wait(10)

显示等待

规定时间内加载出，返回节点，否则抛出超时异常

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
wait = WebDriverWait(browser,10)
x1 = wait.until(EC.presence_of_element_located((By.ID,'q')))
#节点加载出来
wait.until(EC.presence_of_all_elements_located)
#全部节点加载出来
x3 = wait.until(EC.visibility_of_element_located((By.ID,'q')))
#节点可见
x4 = wait.until(EC.element_to_be_clickable((By.ID,'q')))
#节点可点击

10.常用操作

browser.back()
#后退
browser.forward()
#前进
brower.get_screenshot_as_png()
#截图
browser.page_source
#获取网页源代码

11.Cookies，proxies代理

cookies = browser.get_cookies()
#获取Cookies值
browser.add_cookie({'name':'name'})
#添加Cookies
browser.delete_all_cookies()
#删除所有Cookies

from selenium import webdriver
chromeOptions = webdriver.ChromeOptions()

# 设置代理
chromeOptions.add_argument("--proxy-server=http://202.20.16.82:10152")
# 一定要注意，=两边不能有空格，不能是这样--proxy-server = http://202.20.16.82:10152
browser = webdriver.Chrome(chrome_options = chromeOptions)

# 查看本机ip，查看代理是否起作用
browser.get("http://httpbin.org/ip")
print(browser.page_source)

# 退出，清除浏览器缓存
browser.quit()

 

12.Chrome Headless模式

无界面模式，爬取时不会弹出浏览器

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
browser = webdriver.Chrome(chrome_options=chrome_options)