selenium学习记录

1、初识selenium

概述：

Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。

Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。

Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。

下载与参考网址：

PyPI网站下载 Selenium库 Links for selenium ，也可以用 第三方管理器

Selenium 官方参考文档：Selenium with Python — Selenium Python Bindings 2 documentation

实操：本实操演示利用edge浏览器从零开始完成selenium访问百度首页并将返回的结果打印。

①、准备edge浏览器：下载 Microsoft Edge

②、下载edge驱动：Microsoft Edge WebDriver | Microsoft Edge Developer

注意：下载的驱动一定要和自己的浏览器大版本对应，下面是我的edge版本：

下面是我下载的驱动(下载的驱动是127版本，浏览器版本也是127)：

将解压后的msedgedriver.exe解压到本课程的目录下(D:\mySelenium)，本课程的所有实操都将在该目录中：

③、在pycharm中下载selenium：

# 终端中运行如下代码(Alt+F12)
pip install selenium

运行结果如下：

④、编辑爬虫文件exe01.py（文件名可自定义）：

以下是pycharm中的文件结构供参考：

from selenium import  webdriver
from selenium.webdriver.edge.service import Service
# 设置edge的驱动程序
service = Service('./msedgedriver.exe')
# 创建一个浏览器
edge = webdriver.Edge(service=service)
# 发送请求
edge.get('http://www.baidu.com')
# 获取html
page_info = edge.page_source
# 打印获取的html
print(page_info)
# 关闭浏览器
edge. Quit()

运行结果如下：

---

2、selenium控制浏览器

2.1、最大窗口化

概述：调用启动的浏览器默认不是全屏的，这样不会影响脚本的执行，但是有时候会影响我们“观看”脚本的执行。

# 设置edge的驱动程序
service = Service('./msedgedriver.exe')
# 创建一个浏览器
edge = webdriver.Edge(service=service)
# 发送请求
edge.get('目标网址')
# 最大化窗口
edge.maximize_window()

---

2.2、设置窗口的宽高

概述：通过设置窗口的宽高可以更加灵活的设置窗口的显示效果。

# 设置edge的驱动程序
service = Service('./msedgedriver.exe')
# 创建一个浏览器
edge = webdriver.Edge(service=service)
# 发送请求
edge.get('目标网址')
# 将窗口大小设置为指定的宽高
edge.set_window_size(1000,700)

---

2.3、浏览器页面的前进与后退

概述：浏览器上有一个后退、前进按钮，可以通过这两个按钮实现页面的前进与回退。

import time
from selenium import  webdriver
from selenium.webdriver.edge.service import Service
# 设置edge的驱动程序
service = Service('./msedgedriver.exe')
# 创建一个浏览器
edge = webdriver.Edge(service=service)
# 发送请求
edge.get('http://www.baidu.com')
time.sleep(2)
edge.get('https://news.baidu.com/')
time.sleep(2)
# 页面回退
edge.back()
time.sleep(2)
# 页面前进
edge.forward()
time.sleep(2)
# 关闭浏览器
edge. Quit()

---

3、元素的定位与操作

概述：对象的定位应该是自动化的核心，要想操作一个对象，首先应该识别这个对象。 一个对象就是一个人一样，他会有各种的特征（属性），例如我们可以通过一个人的身份证号，姓名，或者他住在哪个街道、楼层、门牌找到这个人。

元素定位

webdriver提供了对象定位方法：

• find_element(type,value)
• find_elements(type,value)

利用 By 类来确定哪种选择方式

from selenium.webdriver.common.by import By
edge.find_element(by=By.ID,value='su')

By 类的一些属性如下

• ID = "id"
• NAME = "name"
• XPATH = "xpath"
• LINK_TEXT = "link text"
• PARTIAL_LINK_TEXT = "partial link text"
• TAG_NAME = "tag name"
• CLASS_NAME = "class name"
• CSS_SELECTOR = "css selector"

元素操作

前面讲到了不少知识都是定位元素，定位只是第一步，定位之后需要对这个原素进行操作。

鼠标点击呢还是键盘输入，这要取决于我们定位的是按钮还输入框。

一般来说，webdriver中比较常用的操作对象的方法有下面几个

• click 点击对象
• send_keys 在对象上模拟按键输入
• clear 清除对象的内容，如果可以的话

实操：本实操通过定位必应的搜索框并输入内容和定位搜索按钮并点击搜索按钮的操作巩固利用selenium定位并操作元素。

import time
from selenium import webdriver
from selenium.webdriver.edge.service import Service
from selenium.webdriver.common.by import By
def findelement(url):
    # 创建浏览器驱动
    service = Service('./msedgedriver.exe')
    # 创建浏览器
    edge = webdriver.Edge(service=service)
    # 全屏显示
    edge.maximize_window()
    # 发送请求
    edge.get(url)
    # 定位搜索框并输入内容
    search_box = edge.find_element(by=By.ID