斗鱼直播的所有房间

最新推荐文章于 2021-09-05 15:28:43 发布

原创

最新推荐文章于 2021-09-05 15:28:43 发布 · 1.3k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#斗鱼直播

本文介绍了如何爬取斗鱼直播平台上的所有在线直播房间数据，包括房间名称、房间标签、主播信息以及关注数。通过分析前端页面结构，确定了数据所在位置：每个房间信息位于ul>li中，并计划后续讨论分页策略。

斗鱼直播：https://www.douyu.com/directory/all

进入这个网址之后我们想要爬取在线直播的所有直播房间

1.导入模块

import requests
from lxml import etree

2.网络请求

url = 'https://www.douyu.com/directory/all'
# 模仿浏览器访问
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'
}
content = requests.get(url=url, headers=headers).content.decode('utf-8')
with open('templates\\douyu.html', 'w', encoding='utf-8') as fp:
    fp.write(content)