用selenium爬取斗鱼信息

最新推荐文章于 2022-05-18 12:58:18 发布

原创最新推荐文章于 2022-05-18 12:58:18 发布 · 469 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#码代码

技术成长专栏收录该内容

7 篇文章

订阅专栏

本文介绍了一种使用Selenium和BeautifulSoup实现的斗鱼直播平台数据爬取方法。通过自动化浏览器操作获取页面源代码，解析并提取直播间的标题和在线人数等关键信息。

from bs4 import BeautifulSoup
from selenium import webdriver

class Dyu():
def setUp(self):
self.driver = webdriver.Chrome()
self.url = “https://www.douyu.com/directory/all”

def douyu(self):
    self.driver.get(self.url)
    while True:
        soup = BeautifulSoup(self.driver.page_source,'xml')
        titles = soup.find_all('h3',{'class':"ellipsis"})
        num = soup.find_all('span',{'class':"dy-num fr"})
        t = 1
        d = {}
        for k,v in zip(titles,num):
            print('第{}个房间名称：{},人数为{}'.format(t,k.get_text().strip(),v.get_text().strip()))
            t +=1

def gb(self):
    self.driver.quit()

if name == ‘main’:
d = Dyu()
d.setUp()
d.douyu()
d.gb()