'WebElement' object is not iterable报错

最新推荐文章于 2023-04-04 18:51:52 发布

原创最新推荐文章于 2023-04-04 18:51:52 发布 · 4.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

python 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一种常见的爬虫错误 'WebElement' object is not iterable 的解决方案，该错误出现在尝试从斗鱼直播平台抓取直播间信息时。文章详细解释了如何通过调整 find_element 为 find_elements 方法来正确获取页面上的多个元素。

爬取斗鱼直播间信息报错 'WebElement' object is not iterable

def get_content_list(self):  # 提取数据
    li_list = self.driver.find_elements_by_xpath("//ul[@id='live-list-contentbox']/li")
    content_list = []
    for li in li_list:
        item = {}
        item["title"] = li.find_element_by_xpath("./a").get_attribute("title")
        item["anchor"] = li.find_element_by_xpath(".//span[@class='dy-name ellipsis fl']").text
        item["watch_num"] = li.find_element_by_xpath(".//span[@class='dy-num fr']").text
        print(item)
        content_list.append(item)

        # 提取下一页
        next_url = self.driver.find_elements_by_xpath("//a[@class='shark-pager-next']")
        next_url = next_url[0] if len(next_url) > 0 else None
        return content_list,next_url

解决方法 :将find_element 改为find_elements,

 find_element_by_id (返回一个元素)
  find_elements_by_xpath （返回一个包含元素的列表）