Scrapy框架之初窥门径

Scrapy框架——初认识 Scrapy是一个高效的Python爬虫框架,旨在简化网站数据的抓取和结构化提取。它基于Twisted异步网络框架,能够显著提升爬虫的下载速度。Scrapy的核心组件包括引擎、调度器、下载器、爬虫和管道,这些组件通过引擎进行数据传递和协调。Scrapy的工作流程包括请求的调度、下载、数据处理和存储,开发者只需实现少量代码即可快速抓取数据。Scrapy的安装可以通过pip命令完成,创建项目后,开发者可以通过命令行生成爬虫并完善其逻辑,使用XPath等方法提取数据,并通过管道进行数据存储。Scrapy的异步和非 阅读详情

使用Scrapy抓取一个网站一共需要四个步骤:
1. 创建一个Scrapy项目;
2. 定义Item容器;
3. 编写爬虫;
4. 存储内容。

学习怎么使用Scrapy之前,我们需要先来了解一下Scrapy的架构以及组件之间的交互。下图展现的是Scrapy的架构,包括组件及在系统中发生的数据流(图中绿色箭头)。

这里写图片描述

下面对每个组件都做了简单介绍:

Scrapy Engine
Scrapy引擎是爬虫工作的核心,负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。

调度器(Scheduler)
调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎。

下载器(Downloader)
下载器负责获取页面数据并提供给引擎,而后提供给spider。

Spiders
Spider是Scrapy用户编写用于分析由下载器返回的response,并提取出item和额外跟进的URL的类。 Item Pipeline Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、验证及持久化(例如存取到数据库中)。

接下来是两个中间件,它们用于提供一个简便的机制,通过插入自定义代码来扩展Scrapy的功能。

下载器中间件(Downloader middlewares)
下载器中间件是在引擎及下载器之间的特定钩子(specific hook),处理Downloader传递给引擎的response。

Spider中间件(Spider middlewares)
Spider中间件是在引擎及Spider之间的特定钩子(specific hook),处理spider的输入(就是接收来自下载器的response)和输出(就是发送items给item pipeline以及发送requests给调度器)。

创建一个Scrapy项目

在开始爬取之前,您必须创建一个新的Scrapy项目。
进入您打算存储代码的目录中,运行下列命令: scrapy startproject tutorial

该命令将会创建包含下列内容的tutorial目录:

> tutorial/
    scrapy.cfg
    tutorial/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

这些文件构成Scrapy爬虫框架,它们分别的作用是:
scrapy.cfg – 项目的配置文件
tutorial/ – 该项目的python模块,之后您将在此加入代码
tutorial/items.py – 项目中的item文件
tutorial/pipelines.py – 项目中的pipelines文件
tutorial/settings.py – 项目的设置文件
tutorial/spiders/ – 放置spider代码的目录

定义Item容器

Item是保存爬取到的数据的容器,其使用方法和python字典类似, 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。

首先根据需要从dmoztools.net获取到的数据对item进行建模。比如我们需要从dmoz中获取名字,url网址,以及网站的描述。
对此,我们需要在item中定义相应的字段。

编辑tutorial目录中的items.py文件:

import scrapy

class DmozItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()

编写爬虫

接下来是编写爬虫类Spider,Spider是用户编写用于从网站上爬取数据的类。
其包含了一个用于下载的初始URL,然后是如何跟进网页中的链接以及如何分析页面中的内容,还有提取生成item的方法。

以下为我们的第一个Spider代码,保存在tutorial/spiders目录下的dmoz_spider.py文件中:

import scrapy

class DmozSpider(scrapy.Spider):
    name = "dmoztools"
    allowed_domains = ["dmoztools.net"]
    start_urls = [
        "http://www.dmoztools.net/Computers/Programming/Languages/Python/Books/",
        "http://www.dmoztools.netComputers/Programming/Languages/Python/Resources/"
    ]

    def parse(self, response):
        filename = response.url.split("/")[-2]
        with open(filename, 'wb') as f:
            f.write(response.body)

接下来我们把“爬取”分为先“爬”后“取”两个独立的动作展开:

爬

命令行进入tutorial项目的根目录:
cd tutorial

执行下列命令启动spider:
scrapy crawl dmoztools

crawl dmoztools启动用于爬取dmoztools.net的spider,我们将得到类似的输出:

这里写图片描述

查看包含[dmoztools]的输出,可以看到输出的日志中包含定义在start_urls的初始URL,并且与spider中是一一对应的。在日志中可以看到其没有指向其他页面( (referer:None) )。 除此之外,更有趣的事情发生了。就像我们parse()函数中指定的那样,有两个包含url所对应的内容的文件被创建了: Book , Resources。

这里写图片描述

刚才发生了什么?
Scrapy为Spider的start_urls属性中每个URL创建了Request对象,并将parse()方法指定为回调函数。Request对象经过调度,执行下载器并生成Response对象反馈回Spider类。

取

爬完整个网页,接下来就是取的过程了。取就是将得到的网页内容提取出我们需要的数据。
在Scrapy中是使用一种基于XPath和CSS的表达式机制: Scrapy Selectors 。

Selector是一个选择器,它有四个基本的方法:
xpath() – 传入xpath表达式,返回该表达式所对应的所有节点的selector list列表 。
css() – 传入CSS表达式,返回该表达式所对应的所有节点的selector list列表。
extract() – 序列化该节点为unicode字符串并返回list。
re() – 根据传入的正则表达式对数据进行提取,返回unicode字符串list列表。

在Shell中尝试Selector选择器

为了介绍Selector的使用方法,接下来我们将要使用内置的Scrapy shell。
你需要先进入项目的根目录,执行下列命令来启动Scrapy shell:
scrapy shell “http://www.dmoztools.net/Computers/Programming/Languages/Python/Books/”

shell的输出类似:

这里写图片描述

在Shell载入后,你将获得response回应,存储在本地变量response中。
所以如果你输入response.body,你将会看到response的body部分,也就是抓取到的页面内容:

这里写图片描述

或者输入response.headers 来查看它的 header部分:

这里写图片描述

selector选择器就是这样一个筛子,你可以使用response.selector.xpath()、response.selector.css()、response.selector.extract()和response.selector.re()这四个基本方法。

使用XPath

XPath是一门在网页中查找特定信息的语言。
所以用XPath来筛选数据,要比使用正则表达式容易些。

这里给出XPath表达式的例子及对应的含义:
/html/head/title – 选择HTML文档中标签内的元素
/html/head/title/text() – 选择上面提到的元素的文字
//td – 选择所有的元素
//div[@class=”mine”] – 选择所有具有class=”mine”属性的div元素

了解更多关于XPath的内容:http://www.w3school.com.cn/xpath/

值得一提的是,response.xpath()、response.css()已经被映射到response.selector.xpath()、response.selector.css(),所以直接使用response.xpath()即可:

这里写图片描述

提取数据

根据item中定义的,我们需要找到(书的)名字,url网址,以及网站的描述。我们要找出他们的规律,然后通过XPath的语法把它们筛选出来。

如果这里不加extract(),xpath()是直接返回一个Selector对象组成的列表。

# 修改spiders/dmoz_spider.py 文件的 parse() 方法
    def parse(self, response):
        # shell帮我们初始化好sel,这里我们要自己初始化
        sel = scrapy.selector.Selector(response)
        sites = sel.xpath('//ul[@class="directory-url"]/li')
        for site in sites:
            title = site.xpath('div[3]/a/div/text()").extract()
            link = site.xpath('div[3]/a/@href').extract()
            desc = site.xpath('div[3]/div/text()').extract()[0].strip()
            print(title, link, desc)

这里写图片描述

使用item

item其实是我们自定义的一个容器,用法跟Python的字典一样。
Spiders将爬取并筛选后的数据存放到item容器中,spider的最终代码应该是这样的:

import scrapy
from tutoria.items import DmozItem
class DmozSpider(scrapy.Spider):
    name = 'dmoztools'
    allowed_domains = ['dmoztools.net']
    start_urls=[
        'http://dmoztools.net/Computers/Programming/Languages/Python/Books/',
        'http://dmoztools.net/Computers/Programming/Languages/Python/Resources/']


    def parse(self,response):
        sel=scrapy.selector.Selector(response)
        sites=sel.xpath('//*[@id="site-list-content"]/div')
        items=[]
        for site in sites:
            item=DmozItem()
            item["title"]=site.xpath("div[3]/a/div/text()").extract()
            item["link"]=site.xpath('div[3]/a/@href').extract()
            item["desc"]=site.xpath('div[3]/div/text()').extract()[0].strip()
            items.append(item)
        return items

存储内容

最简单存储爬取的数据的方式是使用Feed exports,主要可以导出四种格式:JSON,JSON lines,CSV和XML。

我们这里将结果导出为最常用的JSON格式:
scrapy crawl dmoz -o items.json -t json

-o 后边是导出的文件名,-t 指定导出类型 成功执行命令后,根目录出现了一个叫 items.json 的文件,内容如下:

这里写图片描述

Python爬虫(入门+进阶)学习笔记 2-1 爬虫工程化及Scrapy框架初窥 本章节将会系统地介绍如何通过Scrapy框架把爬虫工程化。本节主要内容是:简单介绍Python和爬虫的关系,以及将要使用的Scrapy框架的工作流程。Python适合做爬虫的原因语言本身简单,适合敏捷开发有比较完善的工具链足够灵活,以应对各种突然状况爬虫的知识体系前端相关知识:html,css,js;浏览器相关知识;各种数据库的运用;http协议的了解;对于前后台联动的方案;爬虫进阶的工作流程Sc... 阅读详情

相关推荐

Hypermesh到Abaqus CEL网格转换全攻略:解决欧拉体导入难题

本文详细解析了Hypermesh到Abaqus CEL网格转换的全流程,重点解决欧拉体导入难题。通过单元类型转换、INP文件编辑和多组件合并技术,实现流固耦合仿真的高效前处理。文章包含实用脚本和工程案例,帮助工程师突破ABAQUS CEL分析中的网格转换瓶颈。

weixin_30832143的博客 193

第063讲: 论一只爬虫的自我修养11:Scrapy框架之初窥门径 | 学习记录(小甲鱼零基础入门学习Python)

上一节课我们好不容易装好了 Scrapy,今天我们就来学习如何用好它,有些同学可能会有些疑惑,既然我们懂得了Python编写爬虫的技巧,那要这个所谓的爬虫框架又有什么用呢?其实啊,你懂得Python写爬虫的代码,好比你懂武功,会打架,但行军打仗你不行,毕竟敌人是千军万马,纵使你再强,也只能是百人敌,完成为千人敌,甚至是万人敌,你要学会的就是排兵布阵,运筹帷幄于千里之外,所以,Scrapy...

一只没有脚的猪的博客 1773

Unity六边形网格A*寻路实战:从坐标转换到算法优化

寻路算法是游戏开发与AI领域的核心技术,它决定了智能体在虚拟空间中的移动决策能力。A*算法作为启发式搜索的经典实现,通过结合实际代价与预估代价,能在复杂环境中高效找到最优路径。其技术价值在于平衡了搜索效率与结果最优性,广泛应用于策略游戏、机器人导航和自动化规划等场景。在游戏开发中,六边形网格因其移动自然、邻接均衡的特性,常被用于《文明》等经典策略游戏的地图设计。本文聚焦于Unity环境下,针对尖头朝上六边形网格的A*寻路实现,深入解析了轴向坐标系的选型、邻居计算的优化策略以及地形代价的融合方法,为战棋类或策

weixin_29017445的博客 294

MyBatis学习之初窥门径

MyBatis小例子

cstlrx的博客 444

Xilinx IP库在Modelsim/Questasim中的高效仿真实践

本文详细介绍了在Modelsim/Questasim中高效仿真Xilinx FPGA设计的核心方法。针对仿真时常见的IP核缺失错误,重点解析了两种主流解决方案:使用Vivado的compile_simlib命令自动编译完整仿真库,以及利用export_simulation命令为特定工程生成仿真脚本。文章还提供了手动配置库的深入理解、实战排错步骤及高级避坑指南,帮助用户构建稳定、高效的独立仿真环境。

sony5的博客 1231

librealsense2 camera.so: undefined symbol:ZN2cV3MatC1EV解决笔记记录

先参考的这个兄弟的办法虽然没解决但是提供了大方向感谢; realsenseD400系列相机报错:undefined symbol: _ZN2cv3MatC1EiiiRKNS_7Scalar_IdEE解决方案 后解决办法参考 No GPU usage on jetson xavier NX · Issue #2326 · IntelRealSense/realsense-ros · GitHubOpenCV_DIR" to a directory containing one of the above f

梁俊星的博客 3517

爬虫中extract的简单用法

  print(jobName, jobType, peopleNum, address, jobTime) (1)第一种 jobName = job.xpath('./td[1]/a/text()') [<Selector xpath='./td[1]/a/text()' data='22989-腾讯云虚拟化高级研发工程师(深圳)'>] 技术类 2 深圳 201...

Moniicoo的博客 1万+

TBtools的序列提取步骤

本教程详细介绍了如何使用TBtools软件从原来的FASTA序列中提取特定的DNA序列。

weixin_47509995的博客 1万+

xpath、BeautifulSoup、css_selector、Selector的关系

在学习爬虫的时候,尤其是页面解析的部分,经常会看到标题中的几个名词。在这里简述下它们之间的关系,如果有不对的地方,还请读者指出(如果有人看到的话)。首先是xpath。xpath是用于在xml文档中搜索元素的路径语言。它是一种语言,在页面解析中,用它来表述要提取的元素的位置。那么怎么使用它呢?最基本的,python自带解析页面的lxml库,Selenium的webdriver,以及scrapy中的S...

qiweiqian的博客 1743

Unity URP项目里Post Processing死活没效果?别慌,这5个坑我帮你踩过了

本文详细解析了Unity URP项目中Post Processing效果失效的五大常见问题,包括渲染管线配置冲突、Volume作用域误判、摄像机参数漏配、Layer层级冲突和Profile引用异常。通过实际项目案例和代码示例,提供专业级解决方案,帮助开发者快速排查并修复后处理效果不生效的问题。

weixin_33721427的博客 334

【SpringBoot 3.x 第92节】Spring Modulith:构建模块化单体架构(基于 Spring Boot 3),一文带你搞透(超详细)!

🏆本文收录于《滚雪球学SpringBoot 3.x》,专门攻坚指数提升,本年度国内最系统+最专业+最详细(永久更新)。    该专栏致力打造最硬核 SpringBoot3 从零基础到进阶系列学习内容,🚀均为全网独家首发,打造精品专栏,专栏持续更新中…欢迎大家订阅持续学习。 如果想快速定位学习,可以看这篇【SpringBoot3教程导航帖】,你想学习的都被收集在内,快速投入学习!!两不误。

**My Coding Family** 1003

论一只爬虫的自我修养11:Scrapy框架之初窥门径

  ※说到Python爬虫,大牛们都会不约而同地提起Scrapy。因为Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。   ※Scrapy最初是为了页面抓取(更确切来说, 网络抓取)所设计的,也可以应用在获取API所返回的数据(例如Amazon Associates Web Services)或...

Monster丶ZF的博客 2785

基于深度学习的火焰检测系统:YOLOv8 + UI界面 + 数据集详解

YOLO(You Only Look Once)是一种端到端的目标检测算法,其最大优势在于将目标检测任务转化为一个回归问题,可以在一次前向传播中同时完成目标定位和分类。YOLOv8是YOLO系列中的最新版本,相比之前的版本,YOLOv8在精度和推理速度上都做了显著提升,特别是在小物体检测方面表现更加优秀。实时性:YOLOv8具有较高的推理速度,适用于实时火焰检测。高精度:相较于YOLOv7,YOLOv8在精度和小物体检测上有所改进。简单易用:YOLOv8的API简单直观,易于集成和使用。

YOLO 662

《零基础入门学习Python》第063讲:论一只爬虫的自我修养11:Scrapy框架之初窥门径

上一节课我们好不容易装好了Scrapy,今天我们就来学习如何用好它,有些同学可能会有些疑惑,既然我们懂得了Python编写爬虫的技巧,那要这个所谓的爬虫框架又有什么用呢?其实啊,你懂得Python写爬虫的代码,好比你懂武功,会打架,但行军打仗你不行,毕竟敌人是千军万马,纵使你再强,也只能是百人敌,完成为千人敌,甚至是万人敌,你要学会的就是排兵布阵,运筹帷幄于千里之外,所以,Scrapy 就是Python爬虫的孙子兵法。 使用 Scrapy抓取一个网站一共分为四个步骤: –创建一个Scrapy项目;

justin007_cc的博客 663

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

初窥Scrapy

Scrapy库安装 先离线安装Twisted-18.4.0-cp36-cp36m-win_amd64.whl 先切换地址 pip installTwisted-18.4.0-cp36-cp36m-win_amd64.whl 然后安装1.5.0版本Scrapy pip install Scrapy==1.5.0 scrapy dos下执行 d: cd 定位到指定盘上 ...

huanghong6956的博客 200

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

边学边记(1):scrapy初窥门径爬一爬前程无忧职位

边学边记,记录遇到的坑达成的小目标。先上一张图Scrapy主要包括了以下组件:引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心)调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址下载器(Downloader)...

DDCooper的博客 855

初窥scrapy

第一篇文章,写在我初步完成scrapy的项目。 首先在接触scrapy之前

linzhilin0511的博客 480

Python爬虫学习记录——9.爬虫工程化及Scrapy框架初窥

文章目录Python适合做爬虫的原因爬虫的知识体系Scrapy框架简介Scrapy的工作流程 Python适合做爬虫的原因 语言本身简单,适合敏捷开发 有比较完善的工具链 足够灵活,以应对各种突然状况 爬虫的知识体系 前端相关知识:html,css,js;浏览器相关知识; 各种数据库的运用; http协议的了解; 对于前后台联动的方案; Scrapy框架简介 什么是Scrapy框架? Sc...

赈川 550

scrapy框架简介

一、scrapy简介 Scrapy 是用纯 Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架, 用途非常广泛 Scrapy 使用了 Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯,可以加快 我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成 各种需求 (1)、下载scrapy pip install scrapy 二、scrapy开发流程 1、新建项目 scrapy startproject 项目名 2、新建spider–爬虫模板 先

markshui的博客 5853

Scrapy 框架介绍 [Scrapy 框架概述][Scrapy 框架的特点][Scrapy 框架的架构概述]

Scrapy 是一个适用于 Python 的一个快速、高层次的、开放源代码的屏幕抓取和 web 抓取的应用程序框架,用于抓取 web 站点并从页面中提取结构化的数据,可用于各种有用的应用程序。 Scrapy 常应用在包括数据挖掘、监测、信息处理、存储历史数据(历史档案)或自动化测试等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫,抓取指定网站的内容或图片。

码农阿杰的博客 3807

爬虫之Scrapy框架

Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy 是基于twisted框架开发而来,twisted是一个流行的事件驱动的python网络框架。............

XWenXiang的博客 2413

Scrapy 爬虫框架

Scrapy 爬虫框架 1. 概述 ​ Scrapy是一个可以爬取网站数据,为了提取结构性数据而编写的开源框架。Scrapy的用途非常广泛,不仅可以应用到网络爬虫中,还可以用于数据挖掘、数据监测以及自动化测试等。Scrapy是基于Twisted的异步处理框架,架构清晰、可扩展性强,可以灵活完成各种需求。 ​ 在Scrapy的工作流程中主要包括以下几个部分: ​ § Scrapy Engine(框架的引擎):用于处理整个系统的数据流,触发各种事件,是整个框架的核心。 ​ § Scheduler(调度器

Bruce_xiaowei的博客 1万+
上一篇: 异常处理
PyBQBZ
博客等级 码龄9年 0粉丝 0原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值