Selenium Python爬虫入门

Selenium Python爬虫

一. Selenium介绍

1. 简介
   Selenium 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。
   简单来说,就是模仿我们去访问网页.

2. 优点
   现在越来越多网页使用Ajax来加载网页,通常我们使用requests库获取这样的页面获取的源码与实际并不相符。这时我们可以使用Selenium更加方便。

3. 缺点
   因为通过模仿用户使用浏览器,所以费时,效率低.

4. 安装
   直接在cmd中输入:

pip install selenium

即可. 但我们还需要一个webdriver来配合selenium使用,这里以Chrome浏览器为例(需已经安装过Chrome浏览器).
可以通过访问:chormedriver
进行下载,进入后根据自己安装的Chrome浏览器版本对应下载即可.
windows系统可以直接将chromedriver.exe拖到Python的Scripts目录下.
安装完成后,可以用程序测试:

from selenium import webdriver
browser = webdriver.Chrome()

如果弹出一个空白的Chrome浏览器,即配置成功.
如果弹出后闪退,可能是ChromeDriver版本和Chrome版本不兼容.

二. 应用实例

我们以访问wyy音乐随便爬取一个用户的听歌排行为例。
我们首先要获取一个浏览器对象browser，并使用get方法获取到网页页面，这时启动程序便会看到弹出Chrome浏览器，并访问到了页面，这时我们请求一个用户的名称赋给变量username，而option.binary_location变量可以直接右键自己桌面上的Chrome浏览器图标找到属性中的目标路径复制过来即可。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from sele