爬取斗鱼直播平台的所有房间信息

最新推荐文章于 2022-07-18 19:41:33 发布

原创

最新推荐文章于 2022-07-18 19:41:33 发布 · 4.9k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #python

本文介绍了一种使用Selenium和Python实现的斗鱼直播数据爬取方法，详细讲解了如何定位并抓取直播间信息，包括标题、主播、观看人数等，并实现了翻页功能，最后将数据保存为JSON文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.首先确定数据的位置

每个房间的数据都在id=live-list-contentbox的ul中

实现翻页和控制程序结束

selenium中通过点击就可以实现翻页，观察存在下一页和不存在下一页时候标签的变化

存在下一页时：

不存在下一页时：

具体代码如下:

```

import json
import time
from selenium import webdriver


class DouYu(object):
    def __init__(self):
        self.start_url = 'https://www.douyu.com/directory/all'
        self.driver = webdriver.Chrome()
        self.index=1

    def get_content_list(self):  # 提取数据
        li_list = self.driver.find_elements_by_xpath('//ul[@id="live-list-contentbox"]/li')
        content_list = []
        for li in li_list: