Python+windows系统 虚拟环境的独立搭建 框架scrapy 工具PyCharm

首先我们需要安装python,virtualenv和virtualenvwrapper-win32

我的镜像为清华pip,均为pip install ...

这里我已经安装了,所以提示已经存在,现在我们开始搭建独立的虚拟环境

在安装好virtualenvwrapper-win后 我们可以使用命令workon

查看当前的虚拟环境有哪些

环境如下:

虚拟环境的路径是可以修改的,默认为administrator下的环境,修改路径在系统变量中给WORKON_HOME自定义配置路径

我的配置如下:

配置好自定的路径后

我们开始新建虚拟环境

使用命令 mkvirtualenv 虚拟环境名

新建Dpro 虚拟环境

使用 环境

命令: workon 环境名

显示已经进入当前env环境

然后我们在当前环境下新建项目,注意:这里的项目路径,就是当前指令的路径,比如当前是C:\User\Admin\Administrator,

那我们的项目就是在这里,这里我用的是大家都在用的scrapy框架

为了方便大家看的清楚 我这里在新建的Blog环境中演示一遍

这里发现Twisted模块下载失败

所以我们需要手动的下载模块下来

因此我们进入网站https://www.lfd.uci.edu/~gohlke/pythonlibs/

查看我的python版本

找到Twisted

下载下来,然后在下载的文件目录下手动执行下载命令 

我将下载的文件放在我们的Administrator文件夹下,然后执行命令安装

好了,最后提示安装成功

然后我们可以用scrapy安装对应的虚拟环境下的项目了

首先我们找一个方便自己找的路径进行安装

我这里选择的是D:\Python\New\Blog

在当前路径下 我们执行新建项目的命令

scrapy startproject 项目名

这时如果要退出环境 输入命令

deactivate

这里我用的工具为 PyCharm 

我们打开刚刚新建的项目

我们最初运行时 如果报错

No module named win32api

其实是没有安装pypiwin32

安装方式和上面一样 自行安装

现在我们爬取一个网页文章的标题

再在项目根目录新建main.py文件

main.py代码

from scrapy.cmdline import execute
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy","crawl","blogSpider"])

这样写的目的是为了方便调试,不用再命令行输入 scrapy crawl blogSpider

blogSpider代码

上面有清晰注释,praise_nums这个变量放的是xpath的节点位置

将所得值存入response.xpath("")中

断点pass所在代码行

在main.py文件中

execute运行的第三个参数 应当是我们的blogSpider中的声明的name值

最终debug main.py文件

结果如下