scrapy爬虫遇到的坑_Windows10

一、 scrapy 的安装

直接安装scrapy会报错，我是用pycharm+anaconda环境安装的。

首先pip超过10.0版本会提示没有找到main函数的问题，这个时候在cmd命令行需要运行命令python -m pip install pip==9.0.3

降版本之后，用pycharm 自带setting依次安装（从下往上）

安装twisted包的时候，需要从https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted找到对应的whl文件下载后 放到对应用户目录中 最后使用pip安装就可以了。twisted安装成功之后，用pycharm安装scrapy。

安装scrapy只有一定还需要配置环境变量，将python编译器的script文件目录放入环境变量，然后用cmd运行scrapy验证安装是否成功。

 

scrapy.cfg: 项目的配置文件
tutorial/: 该项目的python模块。之后您将在此加入代码。
tutorial/items.py: 项目中的item文件.
tutorial/pipelines.py: 项目中的pipelines文件.
tutorial/settings.py: 项目的设置文件.
tutorial/spiders/: 放置spider代码的目录.

Item 是保存爬到数据的容器;使用方法和python字典类似