Scrapy 框架

最新推荐文章于 2024-05-27 06:54:13 发布

原创最新推荐文章于 2024-05-27 06:54:13 发布 · 794 阅读

CC 4.0 BY-SA版权

文章标签：

Scrapy 框架
* Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。
* 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。
* Scrapy 使用了 Twisted’twɪstɪd异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。

Scrapy架构图(绿线是数据流向)：
* Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。
* Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。
* Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，
* Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，
* Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.
* Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。
* Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests

//使用SCRAPY框架创建爬虫项目 scrapy startproject sname;

//查看可用模板 scrapy genspider -l

//创建一般模版代码 Spiderscrapy genspider name xxx.com

//创建基于CrawlSpider模版的代码(-t 使用其他模板) scrapy genspider -t crawl name xxx.com

//运行爬虫项目 scrapy crawl sname;scrapy crawl sname -s CLOSESPIDER_ITEMCOUNT=90 (爬取指定数量的item后停止)

//保存文件 scrapy crawl sname -o

items.jsonr"/\d+.html"
转义

若没有回调函数（call_back）,默认follwer = true

//把列表里多个字符串处理成一个string = ‘’.join(list)

CONCURRENT_REQUESTS = 32
粗调控制，无论何时都不会有超过此值的请求处于活跃状态

CONCURRENT_REQUESTS_PER_DOMAIN = 16
域名限制

CONCURRENT_REQUESTS_PER_IP = 16
设置此值，则域名被忽略，有效防止多个域名指向同一IP情况

spiderSpider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。class scrapy.Spider是最基本的类，所有编写的爬虫必须继承这个类。主要用到的函数及调用顺序为：init() : 初始化爬虫名字和start_urls列表start_requests() 调用make_requests_from url():生成Requests对象交给Scrapy下载并返回responseparse() : 解析response，并返回Item或Requests（需指定回调函数）。Item传给Item pipline持久化，而Requests交由Scrapy下载，并由指定的回调函数处理（默认parse())，一直进行循环，直到处理完所有的数据为止。

主要属性和方法
* name定义spider名字的字符串。例如，如果spider爬取 mywebsite.com ，该spider通常会被命名为 mywebsite
* allowed_domains包含了spider允许爬取的域名(domain)的列表，可选。
* start_urls初始URL元祖/列表。当没有制定特定的URL时，spider将从该列表中开始进行爬取。
* start_requests(self)该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取（默认实现是使用 start_urls 的url）的第一个Request。当spider启动爬取并且未指定start_urls时，该方法被调用。
* parse(self, response)当请求url返回网页没有指定回调函数时，默认的Request对象回调函数。用来处理网页返回的response，以及生成Item或者Request对象。
* log(self, message[, level, component])使用 scrapy.log.msg() 方法记录(log)message。更多数据请参见 logging

# -*- coding: utf-8 -*-
import scrapy
from crawl_novel.items import CrawlNovelItem

class BasicSpider(scrapy.Spider):
    name = 'basic'
    allowed_domains = ['www']
    start_urls = ['http://www.biquge.info/22_22559/']

    def parse(self, response):
        '''
        self.log("title: %s" % response.xpath('//h1[1]/text()').extract())
        self.log("author: %s" % response.xpath('//*[@id="info"]/p[1]/text()').extract())
        self.log("classify: %s" % response.xpath('//*[@id="info"]/p[2]/text()').extract())
        self.log("recommend: %s" % response.xpath('//*[@id="listtj"]//text()').extract())
        self.log("chapter_urls %s" % response.xpath('//*[@id="list"]//a').extract())
        '''
        # 填充item
        item = CrawlNovelItem()
        item['title'] = response.xpath('//h1[1]/text()').extract()
        item['author'] = response.xpath('//*[@id="info"]/p[1]/text()').extract()
        item['classify'] = response.xpath('//*[@id="info"]/p[2]/text()').extract()
        item['recommend'] = response.xpath('//*[@id="listtj"]//text()').extract()
　　　　 item['chapter_urls'] = response.xpath('//*[@id="list"]//a/@href').extract()
return item

清理——item装载器、添加管理字段，并对数据进行格式化和清洗
使用ItemLoader以代替那些杂乱的extract()和xpath()操作
使用MapCompose参数
使用lambda表达式

# -*- coding: utf-8 -*-
import datetime
import socket
import urlparse


import scrapy
from scrapy.loader import ItemLoader
from scrapy.loader.processors import MapCompose, Join
from crawl_novel.items import CrawlNovelItem

class BasicSpider(scrapy.Spider):
    name = 'basic'
    allowed_domains = ['www']
    start_urls = ['http://www.biquge.info/22_22559/']

    def parse(self, response):
        # 定义装载器
        l = ItemLoader(item=CrawlNovelItem(), response=response)
        # 使用处理器
        # 去除首位空白符，使结果按照收尾标题格式
        l.add_xpath('title', '//h1[1]/text()', MapCompose(unicode.strip, unicode.title))
        l.add_xpath('author', '//*[@id="info"]/p[1]/text()', MapCompose(unicode.strip))
        l.add_xpath('classify', '//*[@id="info"]/p[2]/text()', MapCompose(unicode.strip))
        # 将多个结果连接在一起
        l.add_xpath('recommend', '//*[@id="listtj"]//text()', Join())
        # 使用lambda表达式（以response.url为基础，将相对路径i转化为绝对路径）
        l.add_xpath('chapter_urls', '//*[@id="list"]//a/@href', MapCompose(lambda i: urlparse.urljoin(response.url, i)))
        # 添加管理字段
        l.add_value('url', response.url)
        l.add_value('project', self.settings.get('BOT_NAME'))
        l.add_value('spider', self.name)
        l.add_value('server', socket.gethostname())
        l.add_value('date', datetime.datetime.now())
        
        return l.load_item()

读取文件的urls
start_urls = [i.strip() for i in open(‘test.txt’).readlines()]