ajklaclk的博客

通过scrapy，从模拟登录开始爬取知乎的问答数据这篇文章将讲解如何爬取知乎上面的问答数据。首先，我们需要知道，想要爬取知乎上面的数据，第一步肯定是登录，所以我们先介绍一下模拟登录：先说一下我的思路：1.首先我们需要控制登录的入口，重写start_requests方法。来控制到这个入口之后，使用callback回调函数来调用login函数.2.在login函数中通过response.text获取到该

前置工作：1. 配置环境变量2.创建虚拟环境3. 安装scrapy （在这里不作介绍，注意有几个前置包安装成功才能装scrapy）4.创建scrapy项目5.更换虚拟环境6. 新创建一个spider名为jobbole7.创建一个用于测试的py文件。名字为main8. 下面运行一下main9.项目可以正常跑起来的情况下，下面就是开始写代码，

1.在执行 scrapy crawl spider名命令的时候 出现了ImportError:DLL load failed: %1不是有效的win32程序 错误