selenium爬取数据时出现如下错误：selenium.common.exceptions.StaleElementReferenceException: Message: stale elemen

原创已于 2023-04-25 15:01:48 修改 · 2.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#selenium #python #爬虫

于 2022-06-22 09:22:42 首次发布

Python数据分析与展示专栏收录该内容

19 篇文章

订阅专栏

本文探讨了Selenium爬虫遇到的StaleElementReferenceException错误，主要原因是网页加载不完全。提供了两种方法：一是短暂休眠，但效果不佳；二是使用WebDriverWait等待'layui-layer-move'类的元素完全加载后再进行数据抓取。通过代码实例展示了如何实现后者。

问题

selenium爬取数据时出现如下错误：

selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document (Session info: chrome=102.0.5005.63)

分析

这是网页没有加载完毕，就开始爬取。

解决方法

方法1 ：使用 sleep(1)，但效果不好。
方法2：最终使用等待网页的最后一个元素加载完毕，再爬取数据。

代码

假设最后一个元素的class 是 layui-layer-move

from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By

wd = webdriver.Chrome(service=Service(r'd:\webdrivers\chromedriver.exe'))
wait = WebDriverWait(wd, 10)
        wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME, 'layui-layer-move')))