斗鱼抓取

最新推荐文章于 2024-12-17 17:20:34 发布

原创最新推荐文章于 2024-12-17 17:20:34 发布 · 1.5k 阅读

0 ·

CC 4.0 BY-SA版权

爬虫专栏收录该内容

27 篇文章

订阅专栏

本文介绍了一种使用Selenium和BeautifulSoup实现的斗鱼直播爬虫案例。该爬虫可以抓取直播间名称及在线观众数量，并能自动翻页获取更多数据。通过PhantomJS作为无头浏览器驱动，配合Selenium进行页面交互，利用BeautifulSoup解析网页内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#coding:utf-8
from selenium import webdriver
from bs4 import BeautifulSoup as bs

driver = webdriver.PhantomJS()
driver.get("https://www.douyu.com/directory/all")
while True:
    soup = bs(driver.page_source, "lxml")
    names = soup.find_all("h3", {"class": "ellipsis"})
    numbers = soup.find_all("span", {"class": "dy-num fr"})
    for name, number in zip(names, numbers):
        print u"观众人数: -" + number.get_text().strip() + u"-\t房间名: " + name.get_text().strip()
    if driver.page_source.find("shark-pager-disable-next") != -1:
        break
    driver.find_element_by_class_name("shark-pager-next").click()
driver.quit()