python scrapy模块的安装以及应用

scrapy模块的安装:

1、pip install lxml  -- 安装lxml
2、下载前置模块 预先在cmd命令下执行 pip install scrapy 要是会报错，部分前置库已安装  
3、升级pip       python -m  pip install --upgrade pip
4、下载wheel模块  pip install wheel
5、安装Twisted 模块:  第一种:安装c++环境,在执行pip install Twisted 第二种安装方法:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted  下载对应的版本，进入目录 pip install 文件
6、安装scrapy  pip install scrapy   即可成功安装

出现:
ModuleNotFoundError: No module named 'win32api'
解决办法: pip install pypiwin32
scrapy命令使用:
全局命令:
startproject :scrapy startproject <project_name>   将会在当前目录下创建一个名为 <project_name>的项目
settings :scrapy settings [options]  将会输出Scrapy默认设定，当然如果你在项目中运行这个命令将会输出项目的设定值
runspider :scrapy runspider <spider_file.py>  在未创建项目的情况下，运行一个编写在Python文件中的spider。
shell :scrapy shell [url]  以给定的URL(如果给出)或者空(没有给出URL)启动Scrapy shell
fetch :使用Scrapy下载器(downloader)下载给定的URL，并将获取到的内容送到标准输出。简单的来说，就是打印url的html代码
view :scrapy view <url> 在你的默认浏览器中打开给定的URL，并以Scrapy spider获取到的形式展现。 有些时候spider获取到的页面和普通用户看到的并不相同，一些动态加载的内容是看不到的， 因此该命令可以用来检查spider所获取到的页面。
version:scrapy version [-v] 输出Scrapy版本。配合 -v 运行时，该命令同时输出Python, Twisted以及平台的信息

项目命令:
crawl:scrapy crawl <spider_name> 使用你项目中的spider进行爬取，即启动你的项目。这个命令将会经常用到，我们会在后面的内容中经常使用
check:scrapy check [-l] <spider>  运行contract检查，检查你项目中的错误之处
list:scrapy list  列出当前项目中所有可用的spider。每行输出一个spider
genspider:scrapy genspider [-t template] <name> <domain> 在当前项目中创建spider。该方法可以使用提前定义好的模板来生成spider。您也可以自己创建spider的源码文件