python爬虫（6）爬虫晋级知识--多进程和多线程

一、selenium的三种等待

1、强制等待：不管页面是否被加载出来，强制让进程等待。

time.sleep(2)

2、隐式等待：driver.implicitly_wait(20)

设置20秒的最大等待时长，他等待的结束条件是：等待到浏览器全部加载完成为止，全部加载可以理解为，浏览器不再转圈圈。
弊端：页面的加载其实不单单是页面html，重要还有一些页面静态资源，而静态资源的加载是最耗时的，这些静态资源对我们爬取数据又没什么作用，所有隐式等待其实效率不高。

3、显示等待：

满足一些内置的等待条件，如果这些要条件满足，就等待结束，比如：特定页面元素加载出来。

创建显示等待的步骤:

from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

1、创建wait对象：

wait = WebDriverWait(
driver = 作用的哪个驱动,
20,最大等待时长
0.5，每隔多少秒做页面扫描
)

2.在之前selenium使用步骤的等待位置：

wait.until(EC.presence_of_element_located(
locator = 定位器对象。
))—>返回值是一个webelement对象（locator对象所定位的哪个webelement）
定位器对象是一个元组。