【scrapy】——个人笔记

scrapy简介

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等。

本文简单的叙述了如何使用scrapy，设计并运行一个简单的案例，以及scrapy框架的各个部分的功能和作用，方便大家使用拓展。并对scrapy有一个完整的认识。

在使用scrapy框架之前，最好已经掌握基本的requests爬取方法，以及xpath、BS、css、正则表达式等解析方法的一种。

scrapy爬虫整体框架

以下是使用scrapy爬虫框架建立并运行爬虫项目的整个流程，之后会使用一个案例，按照这个流程来实现一个简单的操作。

第一，更改目录，改成要建立爬虫工程的文件目录，创建爬虫。

-- cd pycodes                                   (创建一个目录，存放工程文件) 
-- scrapy startproject python123demo            (创建工程，工程名称) 
-- cd python123demo                             (转移到工程目录中) 
-- scrapy genspider demo python123.io           (生成一个爬虫，叫demo，最后一个为域名，只能爬取这个域名一下的相关链接)

第二，修改demo的代码，完善爬虫的功能，配置爬虫文件。和常规爬虫的代码类似。

  --sitting相关配置，
       -- ROBOTSTXT = FALSE   
       -- 任意位置加上：LOG_LEVEL = 'ERROR'
       -- 改use-agent: 复制粘贴，该游览器代理
       -- 开启管道，可以多通道处理：  'taobao.pipelines.TaobaoPipeline': 300，数值表示的是优先级，数值越小，优先级越高
   
   
   --parse解析response
       -- 直接使用response.xpath()方法，xpath语法和正常的一样处理
       -- xpath返回的是列表，列表元素是selector类型，使用'.extract()'方法转换成字符串，列表则是转换每一个列表元素转换成字符串，还有extract_first()方法
       -- 使用content= ''.join(content),用空白字符连接content中的元素，实现一个链接的功能。  


   --item，每次yield item就会调用一次item类
       -- spider中导入item类
       -- items创建管道： # name = scrapy.Field()
       -- 在parse中引入管道： 
           -- item = Python1Item()
           -- 把数据提交给item： item['title'] = a.xpath('p/text()').extract()
       -- 将item提交给管道：
           -- yield item
           
           
   --pipelines操作：持久化处理，多个管道类似操作，新建一个管道类，打开文件一次，写入N次，关闭一次： 
       -- 初始有一个process_item方法，用来处理item对象
       -- 承接item对象的数据：      movie = item['movie']
       -- 打开操作：
           -- 重写一个父类的方法，只会被爬虫调用一次：
               -- def open_spider(self,spider):
       -- 关闭文件操作：
           -- 重写一个父类方法：
               -- def close_spider(self,spider):

整体的流程图如下所示（官网）：

第三，运行爬虫：scrapy crawl demo(这个为爬虫的名字)

图片爬取案例

本文使用pycharm编辑器，scrapy框架实现图片的爬取，关于scrapy框架的安装，之后会进行补充，没有其他特殊的第三方库。

- 1.1 新建项目

打开pycharm，在Terminal中，在指定的工作目录下建立爬虫项目：

cd path   #转到某个path下
scrapy startproject Pic     #在该path下新建一个爬虫项目，名称叫做Pic

然后再工作目录下，就可以看到生成的Pic文件夹，里面包含了一些配置文件，文件的具体作用和功能之后会详细描述：

这样，第一步就完成了。

- 1.2 生成爬虫文件

先转到spider文件夹中，再生成spider文件：

cd Pic      #转到Pic文件夹中
scrapy genspider download baodu.com     #生成spider，名称为：download，爬取的域名为：baidu.com

上面两个操作，scrapy也给出了提示：you can start your first spider with…，可以在工作目录下看到新建的download.py文件。

这样已经完成了项目的建立和spider文件的建立，接下来就是修改相关的配置文件，达到我们的目的。

- 1.3 修改spider

初始的download.py是这样的，我们要修改相关的参数，并解析网页，获取图片，并传递给item。

删去allowed_domains，允许域名表示我们只能在该域名下爬取，为了取消限制，故删去。

以彼岸图网为例，把start_urls改成https://pic.netbian.com/，然后写parse，获取图片。解析图片和常规的requests相同，在此不做详细介绍。

- 2.1 修改配置文件

在Pic文件夹中，有setting、item、pipeline、middleware、init五个文件。