[问题]chromedriver长期运行的异常

最新推荐文章于 2024-10-29 12:08:08 发布

原创最新推荐文章于 2024-10-29 12:08:08 发布 · 3.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#chromedirver #爬虫 #senelium #异常

Python 专栏收录该内容

10 篇文章

订阅专栏

本文探讨了在使用Selenium进行网页爬取时，Chromedriver与Chrome浏览器版本不匹配的问题。文中提供了两者版本对应的详细列表，帮助读者避免因版本不一致导致的爬虫运行错误。

我们知道，现在大多数网站都是异步加载，直接request网页获取数据方式是不行的，通常我们用到的组合工具就是：

senelium+chromedriver+chrome浏览器

在我的爬虫在跑的过程中，有的机器上跑着正常，有的机器上经常跑一段时间就chromedriver报错，错误还不都一样。查找资料后发现，原来chromedriver和chrome浏览器还存在版本搭配的情况，我的几台机子上chrome版本不一样，所以表现不同。

下面是chrome浏览器与chromedriver的版本对应关系，供参考：

ChromeDriver v2.43 (2018-10-17)----------Supports Chrome v69-71
ChromeDriver v2.42 (2018-09-13)----------Supports Chrome v68-70
ChromeDriver v2.41 (2018-07-27)----------Supports Chrome v67-69
ChromeDriver v2.40 (2018-06-07)----------Supports Chrome v66-68
ChromeDriver v2.39 (2018-05-30)----------Supports Chrome v66-68
ChromeDriver v2.38 (2018-04-17)----------Supports Chrome v65-67
ChromeDriver v2.37 (2018-03-16)----------Supports Chrome v64-66
ChromeDriver v2.36 (2018-03-02)----------Supports Chrome v63-65
ChromeDriver v2.35 (2018-01-10)----------Supports Chrome v62-64

chromedrive下载地址：
http://npm.taobao.org/mirrors/chromedriver/

chrome浏览器下载地址：
http://www.chrome.com