Python（爬虫篇）--- 动态HTML处理【二】Selenium数据获取

一、Selenium 简介

Selenium：美[sɪˈliniəm] 硒

Selenium 是一个 Web 的自动化测试工具，最初是为网站自动化测试而开发的，类型像 我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同的是 Selenium 可以直接运行 在浏览器上，它支持所有主流的浏览器(包括 PhantomJS 这些无界面的浏览器)。

Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截 屏，或者判断网站上某些动作是否发生。

Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才 能使用。但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。

可以从 PyPI 网站下载 Selenium 库 http://pypi.python.org/simple/selenium，
也可以用第三 方管理器 pip 命令安装：pip install selenium==2.48.0

官方参考文档：http://selenium-python.readthedocs.io/index.html

二、PhantomJS 简介

phantom：美 ['fæntəm]，鬼怪，幽灵。

PhantomJS 是一个基于 Webkit 的“无界面”(headless)浏览器，它会把网站加载到内存并 执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。

如果我们把 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫 了，这个爬虫可以处理 JavaScript、cookie、headers，以及任何我们真实用户需要做的事情。

注意：PhantomJS 只能从它的官方网站 http://phantomjs.org/download.html)下载。因为 PhantomJS 是一个功能完善(虽然无界面)的浏览器而非一个 Python 库，所以它不需要像 Python 的其他库一样安装，但我们可以通过 Selenium 调用 PhantomJS 来直接使用

三、Selenium 使用

（一）使用步骤

1. 导入webdriver

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

2. 调用浏览器

driver = webdriver.PhantomJS(executable_path=r'D:\phantomjs-2.1.1-windows\bin\phantomjs.exe')

3. 访问页面

driver.get(url='https://www.baidu.com/')

（二）属性及方法

1. title 获取标题

print(driver.title)  # 百度一下，你就知道

2. page_source 查看页面内容

print(driver