selenium+phantomjs/Chrome强大网络爬虫组合

1.selenium

1.定义: Web自动化测试工具,用于Web自动化测试
2.特点

1. 可运行在浏览器,根据指定命令操作浏览器,让浏览器自动加载页面
2. 只是工具,必须与第三方浏览器结合使用
   3.安装selenium
   Anaconda Prompt: conda install selenium

2.phantomjs浏览器

1.定义: 无界面浏览器(无头浏览器)
2.特点: 把网站在内存进行页面加载,运行高效
3.安装
~~1.下载对应安装包(.exe),将文件放到Python安装的Scripts目录下

3.chromedriver安装

1.下载网址
https://chromedriver.storage.googleapis.com/index.html
2.安装
1.查看本机Chrome浏览器版本
设置-帮助-关于Google Chrome
2.下载对应版本的chromedrive.exe(notes.txt)
3.拷贝到Python安装目录的Scripts目录下
4.cmd终端: chromedriver -v 查看版本信息

4.常用方法

1.driver.get(url)
2.driver.page_source : 获取响应的html源码
3.driver.page_source.find(‘字符串’)
作用:从html源码中搜索指定字符串
-1 : 查找失败

4.单元素查找(返回值为一个节点对象)

1. driver.find_element_by_id(’’).text
2. driver.find_element_by_name(’’)
3. driver.find_element_by_class_name(’’)
4. driver.find_element_by_xpath(‘表达式’)

5.多元素查找(节点对象的列表)

5. driver.find_elements_by_…(’’)

6.节点对象.send_keys('内容)
7.节点对象.click()
8.driver.quit()

chromedriver设置无界面模式

1.opt = webdriver.ChromeOptions()
2.opt.set_headless()
3.driver = webdriver.Chrome(options=opt)

6.浏览器对象driver执行JS脚本

执行JS脚本,进度条拉到最下面

driver.execute_script(
‘window.scrollTo(0,document.body.scrollHeight)’
)