ww0peo的博客

强制等待 # 参数为等待的时间，单位为秒 time.sleep(1) 强制等待是不需要借助selenium中的函数实现的，其实就在之前一篇的示例中演示的，通过time.sleep()函数实现程序的wait操作。这个等待是python基础库中就有的函数。 缺点： 过于死板，而且耗费时间过多 优点： 编写简单，强制性的等待可能有其他用途 隐式等待 # 参数为等待的最大时间，单位为秒 driver.implicitly_wait(10) 对获取的浏览器驱动进行配置，配置其等待的最大时间 缺点： 必须

Selenium是一个自动化测试工具，支持多种浏览器。它采用Javascript单元测试工具JSUnit为核心，模拟真实用户操作，包括浏览页面、点击链接、输入文字、提交表单、触发鼠标事件等等，并且能够对页面结果进行种种验证。也就是说，只要在测试用例中把预期的用户行为与结果都描述出来，我们就得到了一个可以自动化运行的功能测试套件。（Selenium的核心是Javascript写的，他和浏览器进行通信，把测试用例的信息发送给浏览器执行，从而达到自动化测试的目的） ...

111

111

Pipeline pipeline是作为scrapy中保存数据或者处理数据的组件，也基本是爬虫最后一个步骤。 如果想要使用pipeline，首先需要开启pipeline，这个是在settings.py文件中配置的，基本的配置如下，其中键名代表的是pipeline的位置，具体指的是mySpider文件夹下（这个是固定的根目录）pipelines文件中的MyspiderPipeline类，值就代表的是pipeline的执行顺序，值越小越先执行。所以这里是可以配置多个pipeline的，下面的MyspiderPi

Scrapy简介 scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需实现少量的代码，就能够快速的抓取。 scrapy使用了twisted异步网络框架，可以加快我们的下载速度。 安装scrapy 通过下面的命令安装scrapy pip install Scrapy 安装过程中出现的常见问题： 《Microsoft Visual C++ 14.0 is required解决方法》 《You are using pip version 20.0.2, however versio