python实现网络爬虫之scrapy框架

今天老师给我们讲了一下使用vscode环境下python实现爬取豆瓣电影网的信息，老师用的python是3.6.5，而我用的是3.6.4，但是结果没有什么不同。

准备工作：（1）先安装好python，我的电脑是安装的python3.6.4，安装python时第一步记得勾选添加路径 Add python3.6  to  PATH....，如果安装成功后就可以在cmd运行  python -v就可以查看到是否安装成功。

（2）接下来在进行 Python在Windows系统中的开发环境搭建，使用 pip list命令可以查看当前模块库中已经安装的所有外部模块指令。

（3）Python3.6.5在安装时默认选中的Pip模块管理组件。 setuptools 和 wheel 两个组件都是Python安装第三方模块库的依赖工具组件。 目前 Python3.6.5默认安装的pip 和 setuptools均为最新版本，但wheel模块需手动安装。 建议安装Python的外部管理模块 wheel： 安装 wheel 指令：pip install -U wheel 。安装好之后：

（4）指定国内的镜像源   ：  在用户目录下的你的用户名下新建一个pip文件夹，再往pip文件夹里面添加一个pip.ini的文件（   Windows10： C:\用户\<用户名>\pip\pip.ini (pip文件夹及pip.ini 需要手动创建)   ）往pip.ini文家中添加如下两行代码

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

（5）virtualenv虚拟环境安装（多版本Python共存）

我们可以在系统中安装多个版本的Python，为了方便Python版本之间的相互切换，我们可以使用virtualenv（虚拟环境）实现同一系统中多版本共存使用的问题。

Step1：使用 pip install –U virtualenv 下载安装虚拟模块包

Step2：创建虚拟环境文件夹

今后所有的python虚拟环境都放在这个文件夹下，新建一个venvs的文件夹

使用virtualenv命令，创建跟当前系统环境相同版本的虚拟环境：

 此时可以看到新生成了一个文件夹，该文件夹就是虚拟环境：

Step3：进入当前虚拟环境 cd 虚拟文件夹名称，启动虚拟环境 虚拟环境文件夹/Script/activate

  执行：pip install -U pypiwin32 安装 

（6）Vscode安装配置，可以自行在网站下载VScode安装包进行安装

Step1：安装python开发插件，常用的如下所示：python、 Python-autopep8 、 GBKToUTF8 ；如果你的Vscode是英文的，下载中文安装包，安装第一个，安装成功后要点击重新加载才能成功，依次安装上述三个插件

Step2：将下面这个文件夹复制到我所使用的盘的根目录，我放在了F盘的根目录，进入F盘根目录下，进行离线安装，记得联网，再安装Scrapy

 Step3：在本地创建一个workspace的文件夹，由于我已经有了一个workspace文件夹，所以我创建了一个Space的文件夹，再往space文件夹里面创建一个Project_Scrapy文件夹。接下来复制此路径。cmd里面进入此路径下，再创建工程