本篇博客介绍如何使用Python的Scrapy框架爬取知乎全站用户关注名单。首先讲解了爬虫的准备工作，包括设置爬取间隔、UA、启用随机UA中间件等。接着，详细阐述了如何处理HTML+JSON拼接的数据，通过正则匹配和JSON解析获取所需信息。最后，提到了URL去重和数据存储的方法。
爬前叨叨
全站爬虫有时候做起来其实比较容易，因为规则相对容易建立起来，只需要做好反爬就可以了，今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说，使用scrapy确实用了牛刀，不过毕竟本博客这个系列到这个阶段需要不断使用scrapy进行过度，so，我写了一会就写完了。
你第一步找一个爬取种子，算作爬虫入口
https://www.zhihu.com/people/zhang-jia-wei/following
我们需要的信息如下，所有的框图都是我们需要的信息。
获取用户关注名单
通过如下代码获取网页返回数据，会发现数据是由HTML+JSON拼接而成，增加了很多解析成本
class ZhihuSpider(scrapy.Spider)
订阅专栏 解锁全文
扫一扫
5103
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
