selenium的find_elements非常慢的解决办法

最新推荐文章于 2024-11-18 16:08:24 发布

原创最新推荐文章于 2024-11-18 16:08:24 发布 · 2.6k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#selenium #测试工具 #python #find_elements

文章讨论了在使用Selenium的find_elements方法时遇到的性能问题，主要是由于页面上的Ajax请求导致的延迟。解决方案包括调整隐式等待时间（如设置为0.1秒）和使用更快速的第三方XPath解析器如lxml，但后者无法进行浏览器相关的元素判断。此外，pageLoadStrategy设置为eager也被提及，但因灵活性不足而被放弃。

在使用find_elements的过程中发现，有时候比较快，有时候非常慢，慢的时候可以达到几分钟，实在不能忍受，必须要解决。

后来看到国外一片文章（抱歉地址忘记了）说，find_elements慢的原因是页面上有很多ajax的请求，默认模式下会等待这些ajax的加载完成后才执行，所以阻塞了find_elements的执行，如果ajax一直在加载中就会一直等待直到超时。所以要解决这个问题的办法很简单，强制修改默认等待时间即可，像下面这样：

    driver.implicitly_wait(180)
    driver.get(url)
...
    driver.implicitly_wait(0.1)
    elements=driver.find_elements(By.XPATH, xpath)
...

实际上find_elements不需要等待ajax的加载完成，等待时间甚至可以设置为0，我还是温柔一点设置为0.1。

记得有文章说设置pageLoadStrategy为eager也可以解决这个问题，但这个毕竟需要修改driver的options，不能中途修改，不够灵活放弃。

另外selenium的find_elements本来也比较慢，如果要追求解析速度，还可以使用第三方的xpath解析器，比如说lxml，但这些第三方解析器不能判断元素是否可见等等和浏览器相关的判断，使用有局限，作为纯粹的xpath搜索还是不错的。（我原来就使用lxml，因为要判断元素是否可见，只好放弃）