selenium 的显示等待与隐式等待

现在很多的网页都采用了 Ajax 技术，那么采用一般的静态爬虫技术会出现抓取不到页面的元素。比如歌曲的主页会有评论数量，一般评论数量是动态加载的。
所以这就涉及到selenium,支持各种浏览器，包括Chrome，Safari，Firefox 等主流界面式浏览器，如果你在这些浏览器里面安装一个 Selenium 的插件，那么便可以方便地实现Web界面的测试。

driver = webdriver.Chrome()
driver.get("http://somedomain/url_that_delays_loading")
driver.page_source--获取网页渲染后的源代码

获得页面元素

element = driver.find_element_by_id("passwd-id")
element = driver.find_element_by_name("passwd")
element = driver.find_elements_by_tag_name("input")
element = driver.find_element_by_xpath("//input[@id='passwd_id']")

与页面交互
element.send_keys(“text”)
element.clear()清空元素的内容
element.click()点击这个网页组件
切换窗口，一个是切换到windows下，一个是切换到frame下
driver.switch_to_window(“windowName”)
driver.switch_to_frame(“frameName.0.child”)
driver.switch_to_alert()–截取弹窗对象
而

我们最重要的就是了解selenium的页面等待问题

，动态加载的页面需要时间等待页面上的所有元素都渲染完成，如果在没有渲染完成之前我们就switch_to_或者是find_elements_by_，那么就可能出现元素定位困难而且会提高产生 ElementNotVisibleException 的概率。
直接找到我们要抓取的tag或者直接没有等待元素出来就开始交互导致不起作用的问题。

selenium的页面等待有显示等待和隐式等待

隐式等待
比较简单，提供一个等待时间，单位为秒，则等这个时间过去在去做其他操作。
driver.implicitly_wait(10)，如果不设置默认为0

显示等待

指定某个条件，然后设置最长等待时间。如果在这个时间还没有找到元素，那么便会抛出异常。只有该条件触发，才执行后续代码，这个使用更灵活。
主要涉及到selenium.webdriver.support 下的expected_conditions类。
example

driver = webdriver.Chrome()
driver.get("http://somedomain/url_that_delays_loading")
try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "myDynamicElement"))
    )
finally:
    driver.quit()

example2

wait_result = WebDriverWait(driver=self.driver, timeout=300, poll_frequency=0.5, ignored_exceptions=None).until( EC.text_to_be_present_in_element((By.XPATH, '//*[@id="VolumeTable"]/tbody/tr[1]/td[4]/label'), u'可用'))

这里的presence_of_element_located(())、text_to_be_present_in_element(())是其中两种方式，其实还有其他相关方式。EC配合使用的 until() 或者 until_not() 方法说明：

until(method, message='')
调用该方法体提供的回调函数作为一个参数，直到返回值为True
until_not(method, message='')
调用该方法体提供的回调函数作为一个参数，直到返回值为False

模块包含一套预定义的条件集合。大大方便了 WebDriverWait 的使用。
Expected Conditions 类提供的预期条件判断方法

在进行浏览器自动化的时候，有一些条件是经常出现的，下面列出的是每个条件的实现。Selenium Python binding provides some convienence 提供了很多实用的方法。

title_is：判断当前页面的title是否等于预期
title_contains：判断当前页面的title是否包含预期字符串
presence_of_element_located：判断某个元素是否被加到了dom树里，并不代表该元素一定可见
visibility_of_element_located：判断某个元素是否可见. 可见代表元素非隐藏，并且元素的宽和高都不等于0
visibility_of：跟上面的方法做一样的事情，只是上面的方法要传入locator，这个方法直接传定位到的element就好了
presence_of_all_elements_located：判断是否至少有1个元素存在于dom树中。举个例子，如果页面上有n个元素的class都是'column-md-3'，那么只要有1个元素存在，这个方法就返回True
text_to_be_present_in_element：判断某个元素中的text是否 包含 了预期的字符串
text_to_be_present_in_element_value：判断某个元素中的value属性是否包含了预期的字符串
frame_to_be_available_and_switch_to_it：判断该frame是否可以switch进去，如果可以的话，返回True并且switch进去，否则返回False
invisibility_of_element_located：判断某个元素中是否不存在于dom树或不可见
element_to_be_clickable - it is Displayed and Enabled：判断某个元素中是否可见并且是enable的，这样的话才叫clickable
staleness_of：等某个元素从dom树中移除，注意，这个方法也是返回True或False
element_to_be_selected：判断某个元素是否被选中了,一般用在下拉列表
element_located_to_be_selected
element_selection_state_to_be：判断某个元素的选中状态是否符合预期
element_located_selection_state_to_be：跟上面的方法作用一样，只是上面的方法传入定位到的element，而这个方法传入locator
alert_is_present：判断页面上是否存在alert

参数1：By类确定哪种选择方式
from selenium.webdriver.common.by import By
参数2：值，可能是xpath的值，可能是id,name等，取决于前面是By.XPATH,By.ID究竟是哪种方式去定位元素。
可以在WebDriverWait()构造时传入下面参数，哪一个浏览器，来控制超时时间，多长时间检测一次这个元素是否加载，是否有异常报出。
driver：浏览器驱动
timeout：最长超时等待时间
poll_frequency：检测的时间间隔，默认为500ms
ignore_exception：超时后抛出的异常信息，默认情况下抛 NoSuchElementException 异常
基本的使用方法：
模块导入

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

try{
wait_result = WebDriverWait(四个参数).until( EC.条件实现((By类定位方式, 定位值), message))
}finally{
//
}

另外使用selenium会打开浏览器自动加载页面，我们需要安装用来自动化测试浏览器的插件来完成，如果不想打开网页，觉得比较麻烦，可以用

一个没界面的 PhantomJS,用 webdriver.PhantomJS()来代替webdriver.Chrome()，效率比较高

，