自动化工具DrissionPage的使用(二)

概要

继上篇-> 自动化工具DrissionPage的使用(一)我们继续研究 DrissionPage的使用

开始整活

• 对于自动化程序,标签定位以及获取标签对应的数据是重中之重
• 本次以豆瓣排行榜为例 (https://movie.douban.com/chart)

SessionPage

获取SessionPage对象

from DrissionPage import SessionPage as Session
driver = Session()
driver.get('https://movie.douban.com/chart')

获取标签内所对应的数据

# 获取到该标签对象后,所有获取标签对应数据的方式都是通用的

Ele = driver.ele('#db-global-nav') # 这里以id为db-global-nav的标签做案例
print(Ele.html)  # 该标签对应的html源码
print(Ele.tag)  # 获取该id为db-global-nav的标签类型, --> div
print(Ele.text)  # 标签内所有的文本
print(Ele.attrs) # 标签内所有的属性以及属性值.以字典的形式展示 --> {'id': 'db-global-nav', 'class': 'global-nav'}
print(Ele.link)  # 标签内的 href 属性或 src 属性,都没有则返回None

id属性

# 标签定位
<div id="db-global-nav"> --> 对应元素定位方式 --> driver.ele('#db-global-nav')

# 获取标签内所对应的数据
Ele = driver.ele('#db-global-nav')
print(Ele.html)  # 该标签对应的html源码
print(Ele.tag)  # 获取该id为db-global-nav的标签类型, --> div
print(Ele.text)  # 标签内所有的文本
print(Ele.attrs) # 标签内所有的属性以及属性值.以字典的形式展示 --> {'id': 'db-global-nav', 'class': 'global-nav'}
print(Ele.link)  # 标签内的 href 属性或 src 属性,都没有则返回None

class属性

# 标签定位
<div class="indent"> --> 对应元素定位方式 --> driver.ele('.indent')

其他属性

# 固定规则: @属性名=属性值
<td valign="top"> --> 对应元素定位方式 --> driver.ele('@valign=top') 

print(driver.ele('@valign=top').html) # 获取第一个满足条件的标签下的html源码
print(driver.eles('@valign=top')) # 获取所有满足条件的标签,返回的是一个列表

获取所有的a标签

a_list = driver.eles('tag:a')
for a in a_list:
    print(a.link)
    print(a.text)

获取指定标签下所有的a标签

# 当前以 <div class="indent"> 为案例

parentEle = driver.ele(".indent") # 定位到indent
a_list = parentEle.eles('tag:a') # 获取indent下的所有a标签
for a in a_list:
    print(a.link)  # a标签链接
    print(a.text)  # a标签内所有的文本
    print(a.attrs['title'])  # a标签title属性值
    print(a.attrs['class'])  # a标签class属性值

包含(模糊)匹配

# 固定规则: @属性名:属性值
<td valign="top"> --> 对应元素定位方式 --> driver.eles('@valign:top')

# 获取所有属性值包含top并且属性名为valign的标签, 如果只匹配单个则是 driver.ele('@valign:top')

xpath匹配

Ele = driver.ele('#content')  # 定位到该标签
table_list = Ele.eles("xpath://table") # 获取标签下所有的table
for t in table_list:
    # 获取每个 table 下 class 为 p12下面的a标签的链接和文本
    link = t.ele(".pl2").ele('xpath:./a').link
    text = t.ele(".pl2").ele('xpath:./a').text
    print(link, text)

设置代理 ip

driver.set.proxies(http='http://localhost:1080', https='你的代理地址')  # https为空时使用http的值

是否验证SSL证书

driver.set.verify(on_off=True)

设置请求头

driver.set.headers({...}) # 会覆盖已有请求头
driver.set.header(name='key', value='val') # 单独设置某个值

重定向次数

driver.set.max_redirects(times=15) # 设置最大重定向次数为15次

SessionOptions

可以先创建SessionOptions对象再初始化SessionPage

from DrissionPage import SessionPage as Session, SessionOptions

so = SessionOptions()
so.set_retry(times=5, interval=6)  # 设置重试次数为5, 每次请求最大时间为6
so.set_proxies('代理地址') # 设置代理
driver = Session(session_or_options=so)

ChromiumPage

• 上文已经介绍过,这个模式是用来操控浏览器的
• 操作方式和我们熟悉的selenium雷同

获取ChromiumPage对象

from DrissionPage import ChromiumPage
driver = ChromiumPage()

元素定位&获取元素对应数据

• 同SessionPage

获取cookie

driver.get('https://movie.douban.com/chart')
print(driver.get_cookies())  # 获取当前页面的cookie

页面刷新

driver.refresh()
driver.wait.load_complete() # 等待页面加载完成

WebPage

• 两种模式d对应ChromiumPage, s对应SessionPage

模式切换

from DrissionPage import WebPage

pageC = WebPage()  # 默认ChromiumPage模式创建对象
pageS = WebPage('s')  # 指定SessionPage模式创建对象
pageS.change_mode(copy_cookies=True) # 切换到 d 模式并传递cookie

cookie传递

pageS.cookies_to_session(copy_user_agent=True, copy_cookies=True) # 把浏览器里的 cookie 以及 ua 传递给Session对象
pageS.cookies_to_browser() # # 把 cookie 传递给 浏览器