一个Scrapy爬虫实例

Scrapy是啥

scrapy是一个使用python编写的开源网络爬虫框架。这里的框架实际上就是应用程序的骨架，是一个半成品，框架能够保证程序结构风格统一。

Scrapy的安装

pip install Scrapy。但在此之前要先安装几个包：
在cmd中运行以下语句：
(1) pip install wheel
(2) pip install lxml
(3) pip install twisted
(4) 最后 pip install scrapy
(5) 验证Scrapy框架是否安装成功：
打开python,试试import scrapy 和scrapy.version_info

如图看到Scrapy库的版本为2.4.1

实例：爬取美剧天堂new100：

(1)创建工程：

找一个文件夹，打开cmd进入该目录。
输入命令：
Scrapy startproject movie

这时可以看到该目录下多了一个叫movie的文件夹，而这个文件夹里面还有一个叫movie的文件夹，里面是这样的：

这样Scrapy项目就成功创建了。

（2） 创建爬虫程序

用cd先进入movie目录，输入命令：
Scrapy genspider meiju meijutt.tv

该命令创建了一个叫meiju的爬虫
这时查看spiders目录可以看到多了一个meiju.py，就是我们刚创建的爬虫。

（3） 编辑爬虫

用编辑器打开meiju.py

这个网站的内容是我们的爬取目标

import scrapy
from movie.items import MovieItem