ajklaclk的博客

通过scrapy，从模拟登录开始爬取知乎的问答数据 这篇文章将讲解如何爬取知乎上面的问答数据。 首先，我们需要知道，想要爬取知乎上面的数据，第一步肯定是登录，所以我们先介绍一下模拟登录： 先说一下我的思路：1.首先我们需要控制登录的入口，重写start_requests方法。来控制到这个入口之后，使用callback回调函数来调用login函数.2.在login函数中通过response.text获取到该

前置工作： 1. 配置环境变量 2.创建虚拟环境 3. 安装scrapy  （在这里不作介绍，注意有几个前置包安装成功才能装scrapy） 4.创建scrapy项目 5.更换虚拟环境 6. 新创建一个spider 名为jobbole 7.创建一个用于测试的py文件。名字为main 8. 下面运行一下main 9.项目可以正常跑起来的情况下，下面就是开始写代码，

1.在执行 scrapy crawl spider名命令的时候 出现了ImportError:DLL load failed: %1不是有效的win32程序 错误