使用selenium自动化爬取虎牙直播数据

最新推荐文章于 2025-03-21 22:45:19 发布

原创最新推荐文章于 2025-03-21 22:45:19 发布 · 717 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#selenium #python

爬虫系列专栏收录该内容

24 篇文章

订阅专栏

本博客介绍了一个使用Selenium自动化爬取虎牙直播平台数据的Python脚本。该脚本通过模拟浏览器行为，定时抓取主播昵称及分数，并通过翻页功能获取多页数据，适用于数据抓取和分析。

selenium自动化爬取虎牙直播数据

from selenium import webdriver
import time

driver=webdriver.Chrome()
url='https://www.huya.com/g/wzry'
driver.get(url)

n=1
while True:
    print('第---------------'+str(n)+'------------------页')
    time.sleep(10)
    n+=1

    nicks=driver.find_elements_by_xpath('//i[@class="nick"]')
    scores=driver.find_elements_by_xpath('//i[@class="js-num"]')

    #zip返回的是一个zip对象，是一个元组对象
    for nick,score in zip(nicks,scores):
        print(nick.text,':',score.text)
    
    #判断是否为真
    if driver.page_source.find("laypage_curr")!=-1:
        driver.find_element_by_xpath('//a[@class="laypage_next"]').click()
    else:
        break
driver.quit()