模拟登陆爬取知乎

本程序实现了基于Python3的知乎爬虫应用,通过模拟登录爬取指定关键词下的所有问题及其回答,并以CSV格式保存。项目使用requests等库实现数据抓取。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

2017.4.26更新

  • 实现功能为爬取指定关键字下所有问题及每个问题中的所有回答

  • 回答中文字和图片是分离的,因为从服务器返回的JSON数据中内容部分比较混乱,暂时只是粗暴的做了分离操作

  • 后续将加入多线程下载、爬取用户、爬取话题的功能

项目地址
GitHub : ZhihuCrawler

使用说明

  • 本程序实现爬取指定关键词下所有问题及所有回答,保存格式为csv格式

  • 采用模拟登陆,首次使用时需要输入账号和密码

  • 本程序基于Python3开发,使用包括requests、http、bs4、urllib和json等第三方库

  • 运行Main.py文件,无需做其他修改

  • 附带了Json.json文件,这是某个问题下从服务器返回的数据,可以根据需求手动修改GetContent.py文件中parserQuestion()方法中保存类别的信息

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值