本文讲下selenium。
何为selenium.
用于web自动化测试,好吧给前端用的。爬虫为何要用这玩意呢,绕不过上篇反爬策略。
我们看看应用场景
1页面点击拖动,加载内容
2元素拖动,验证码破解
3执行js,数据获取
4模拟登入
5参数无法获取
那我们要准备什么呢
浏览器(目前谷歌和火狐比较常用)、驱动包、Java对应webdriver 依赖的jar包。
浏览器是65版本
http://chromedriver.storage.googleapis.com/index.html
随便点一个(尽量找新的)
点击notes.txt查找最新对应关系,根据对应关系下载与系统相关的驱动包
我的对应驱动包是v2.38
已谷歌浏览器为例配置版本要对应。
在后面会有实战