爬虫--selenium和PhantomJS

#现阶段爬虫已经能够爬取大部分网页,但仍有一部分不能完成爬取,为了反反爬虫,给出建议

• 尽量减少请求次数
  
  • 能抓列表页就不抓详情页
  • 尽量保存html页面,为排错和重复请求使用
• 关注网站所有的类型页面
  
  • wap页面,如百度贴吧极简版
  • h5页面
  • app
• 多伪装
  
  • 动态的User-Agent
  • 使用代理ip 为放置多次请求封ip
  • 能不用cookie就不用
• 利用多线程分布式
  
  • 在不被禁止的情况下,尽可能的提高爬取速度

Selenium和PhantomJS

​ Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。

Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。

Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。

• 安装

  sudo pip3 install selenium

• 官方文档

  http://selenium-python.readthedocs.io/index.html

==============无耻的分割线=============

​ PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。

如果我们把 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫了，这个爬虫可以处理 JavaScrip、Cookie、headers，以及任何我们真实用户需要做的事情。

• 安装

  sudo apt-get install phantomjs

• 官方文档

  http://phantomjs.org/documentation

两者的使用

系统环境为Linux环境,mac大致如此

• 导入webdriver

  from selenium import webdriver

• 调用环境变量指定phantomjs浏览器创建对象

  driver = webdriver.PhantomJS()

• get方法会一直等到页面被完全加载,然后才会运行程序,一般情况测试会在这里 time.sleep(2) 睡两秒

  driver.get("http://www.baidu.com/")

• 获取名为wrapper的id标签的文本内容

  data = driver.find_element_by_id('wrapper').text

• 打印页面标题

  print(driver.title)

• 获取网页渲染后的源码

  driver.page_source

• 调用键盘操作要引入keys包

  from selenium.webdriver.common.keys import Keys

• 全选输入框内容

  `driver.find_element_by_id(“kw”).send_keys(Keys.CONTROL,’a’)

• 模拟enter键

  driver.find_element_by_id('su').send_keys(Keys.RETURN)

• 关闭当前页面

  driver.close

• 关闭浏览器

  driver.quit()

• 查看请求的cookie

  driver.get_cookies()

页面元素的定位

•find_element_by_id(返回一个)

•find_elements_by_xpath（返回一个列表）

•find_elements_by_link_text

•find_elements_by_partial_link_text

•find_elements_by_tag_name

•find_elements_by_class_name

•find_elements_by_css_selector

(=====注意=====)

1.find_element和find_elements的区别：返回一个和返回一个列表

2.by_link_text和by_partial_link_text的区别：全部文本和包含某个文本

3.by_css_selector的用法：#food span.dairy.aged

4.by_xpath中获取属性和文本需要使用get_attribute()和.text

模拟鼠标动作

#导入 ActionChains 类
from selenium.webdriver import ActionChains

# 鼠标移动到 ac 位置
ac = driver.find_element_by_xpath('element')
ActionChains(driver).move_to_element(ac).perform()


# 在 ac 位置单击
ac = driver.find_element_by_xpath("elementA")
ActionChains(driver).move_to_element(ac).click(ac).perform()

# 在 ac 位置双击
ac = driver.find_element_by_xpath("elementB")
ActionChains(driver).move_to_element(ac).double_click(ac).perform()

# 在 ac 位置右击
ac = driver.find_element_by_xpath("elementC")
ActionChains(driver).move_to_element(ac).context_click(ac).perform()

# 在 ac 位置左键单击hold住
ac = driver.find_element_by_xpath('elementF')
ActionChains(driver).move_to_element(ac).click_and_hold(ac).perform()

# 将 ac1 拖拽到 ac2 位置
ac1 = driver.find_element_by_xpath('elementD')
ac2 = driver.find_element_by_xpath('elementE')
ActionChains(driver).drag_and_drop(ac1, ac2).perform()

页面的等待

为什么需要等待

如果网站采用了动态html技术，那么页面上的部分元素出现时间便不能确定，这个时候就可以设置一个等待时间，强制要求在时间内出现，否则报错

• 强制等待

  time.sleep(10)

• 显式等待(了解)

  显式等待指定某个条件，然后设置最长等待时间。如果在这个时间还没有找到元素，那么便会抛出异常了。

  • WebDriverWait(driver,10).until( EC.presence_of_element_located((By.ID,”myDynamicElement”))

• 隐式等待(了解)

​ 就是简单地设置一个最大等待时间，单位为秒。

​ driver.implicitly_wait(10)

其他用法请查看官方文档或者下图