selenium在爬取中的使用

1、环境设置

1、安装selenium：pip install selenium
2、安装chrome浏览器，并下载相应版本的chrome的驱动（地址）
3、将ChromeDriver加入系统环境变量
4、调试时一般就用chrome浏览器，实际使用时用PhantomJS（无界面浏览器），selenium自带对其的驱动。

2、一般使用流程

1、导入selenium.webdriver，驱动相应的浏览器
2、打开网址，可以获取到渲染后的网页源码。
3、可以打开多个标签页，在标签页间切换使用br.switch_to_window(br.window_handles[n])，n为标签的顺序。

3、使用方法示例

python
from selenium import webdriver
import time

br=webdriver.Chrome()
br.get("https://www.baidu.com")
time.sleep(1)#给浏览器一些渲染的时间

page=br.page_source#获取网页源码
# print(page)
s=br.find_element_by_xpath("//a[contains(text(),'学术')]")#只能用xpath定位到标签，要想获取属性的值，看下面
# print(s.text)#获取该html标签中的文字
# print(s.get_attribute('href'))#获取该html标签属性的值
# print(s.get_property('name'))#同上

#执行js脚本，打开新标签（此时仍控制上一个标签，要想控制当前标签并获取内容，看下面），
#若是通过模拟点击打开新标签仍与此同，必须利用窗口句柄转换。
js_script='window.open("https://www.sogou.com");'
br.execute_script(js_script)
print(br.title)#百度一下，你就知道，虽然打开了新标签，但仍控制着上一个标签

#页面标签的控制
br.switch_to_window(br.window_handles[1])#数字为标签的顺序，在此为搜狗
print(br.title)#搜狗搜索引擎 - 上网从搜狗开始

#向输入框输入文字并模拟点击
br.find_element_by_xpath("//input[@id='query']").send_keys('python')#定位输入框并输入文字
br.find_element_by_xpath("//input[@id='stb']").click()#定位搜索按钮并点击
time.sleep(1)
print(br.title)#python - 搜狗搜索

#滚动页面
br.execute_script("window.scrollBy(0,800)")#向下滚动800px
time.sleep(2)
br.find_element_by_xpath("//a[@id='sogou_vr_11013201_title_2']").click()#第一次失败，因为元素不在可见区域内，这时就要滚动页面是元素可见
time.sleep(6)
print(br.title)#python - 搜狗搜索，验证上面说的 模拟打开新标签，浏览器仍控制着上一个标签
br.switch_to_window(br.window_handles[-1])
print(br.title)#搜狗翻译 - 上网从搜狗开始

# #导入 ActionChains 类
# from selenium.webdriver import ActionChains
# # 鼠标移动到 ac 位置，=这个功能特别适合解决>>今日头条首页将鼠标移动到页面底部刷新<<的情况，上拉、下拉刷新。
# ac = driver.find_element_by_xpath('element')
# ActionChains(driver).move_to_element(ac).perform()


br.close()#退出当前标签
br.quit()#退出整个浏览器