【Python网络爬虫】Python网络爬虫案例：知乎Live

最新推荐文章于 2025-06-04 17:40:00 发布

镰刀韭菜

最新推荐文章于 2025-06-04 17:40:00 发布

阅读量931

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习与机器学习文章标签：知乎Live 网络爬虫 Ajax Json解析 MongoDB

本文链接：https://blog.youkuaiyun.com/ARPOSPF/article/details/96460763

深度学习与机器学习专栏收录该内容

103 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了使用Python进行网络爬虫，抓取知乎Live页面信息的案例。通过解析Ajax动态加载的JSON数据，提取所需内容，并存储到MongoDB数据库。尽管知乎对爬虫进行了限制，仅能获取一页数据，但文章仍详细讲解了如何获取Live数据及听众信息，并将数据存入MongoDB的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Python网络爬虫案例：知乎Live

涉及的技术包括以下3种：

爬取网页：解析Ajax动态加载地址
解析网页：提取JSON数据
存储数据：存储至MongoDB数据库

1.项目描述

知乎Live的URL为：https://www.zhihu.com/lives

首先爬取Live的第一页：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
@File  : GetLive.py
@Author: Xinzhe.Pang
@Date  : 2019/7/18 22:32
@Desc  : 
"""
import requests

def scrapy(link):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
    }
    r = requests.get(link, headers=headers)
    return (r.text)

link = "https://api.zhihu.com/lives/homefeed?includes=live"
html = s

了解本专栏