通过scrapy,从模拟登录开始爬取知乎的问答数据
通过scrapy,从模拟登录开始爬取知乎的问答数据这篇文章将讲解如何爬取知乎上面的问答数据。首先,我们需要知道,想要爬取知乎上面的数据,第一步肯定是登录,所以我们先介绍一下模拟登录:先说一下我的思路:1.首先我们需要控制登录的入口,重写start_requests方法。来控制到这个入口之后,使用callback回调函数来调用login函数.2.在login函数中通过response.text获取到该
原创
2017-12-23 17:42:01 ·
3278 阅读 ·
0 评论