使用fiddler抓包工具，抓取斗鱼接口，爬取数据

斗鱼直播API数据抓取与解析

最新推荐文章于 2022-07-18 19:41:33 发布

原创

最新推荐文章于 2022-07-18 19:41:33 发布 · 2.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#斗鱼接口数据爬取

使用fiddler抓包工具，分析斗鱼接口信息找到斗鱼接口url，进行接口分析，提取数据。由于斗鱼直播数据和整个页面页码都是根据开播来实时更新的。所以我们提取数据是要判断。拿到实时的页码。

import requests
import random

'''
url = https://www.douyu.com/gapi/rkc/directory/0_0/list

'''
def get_douyu_api(url):
    headers = {
   
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'
    }
    proxies_list = [
         {
   
   
             'http': 'http://218.95.37.252:3128',
             'https': 'https://182.61.162.160:3128'
         },
         {
   
   
             'http': 'http://163.125.19.53:8888',