用Scrapy写一个爬虫

最新推荐文章于 2025-05-13 16:22:05 发布
转载 最新推荐文章于 2025-05-13 16:22:05 发布 · 80 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/javajava/p/4798840.html

昨天用python谢了一个简单爬虫，抓取页面图片；

但实际用到的爬虫需要处理很多复杂的环境，也需要更加的智能，重复发明轮子的事情不能干，

再说python向来以爬虫作为其擅长的一个领域，想必有许多成熟的第三方框架，百度后选用了

Scrapy作为平台构建复杂爬虫。

 

Scarpy的下载安装不必细说，话说当前只支持python2.x版本，很郁闷，下载安装了python2.7。

 

安装完后，按照《Scrapy Tutorial》 和Scrapy at a glance两篇帖子作为学习范本。

 

概念及步骤简要摘录总结如下：

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

　　其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

 

Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下：
Scrapy ArchitectureScrapy Architecture
　　Scrapy主要包括了以下组件：

  • 引擎：用来处理整个系统的数据流处理，触发事务。
  • 调度器：用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。
  • 下载器：用于下载网页内容，并将网页内容返回给蜘蛛。
  • 蜘蛛：蜘蛛是主要干活的，用它来制订特定域名或网页的解析规则。
  • 项目管道：负责处理有蜘蛛从网页中抽取的项目，他的主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后，将被发送到项目管道，并经过几个特定的次序处理数据。
  • 下载器中间件：位于Scrapy引擎和下载器之间的钩子框架，主要是处理Scrapy引擎与下载器之间的请求及响应。
  • 蜘蛛中间件：介于Scrapy引擎和蜘蛛之间的钩子框架，主要工作是处理蜘蛛的响应输入和请求输出。
  • 调度中间件：介于Scrapy引擎和调度之间的中间件，从Scrapy引擎发送到调度的请求和响应。

　　使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。

 

 主要步骤：

1. 创建一个Scrapy项目
2. 定义提取的Item
3. 编写爬取网站的 spider 并提取 Item
4. 编写 Item Pipeline 来存储提取到的Item(即数据)

1.scrapy startproject bbsdmoz

2.编辑 bbsDmoz 目录中的 items.py 文件，根据需要从bbs网站获取到的数据对item进行建模；

 1  #  -*- coding: utf-8 -*-
 2  #  Define here the models for your scraped items
 3  #  See documentation in:
 4  #  http://doc.scrapy.org/en/latest/topics/items.html
 5  from scrapy.item  import Item, Field
 6  class BbsDmozItem(Item):
 7      #  define the fields for your item here like:
 8       #  name = scrapy.Field()
 9      url   = Field()
10     forum = Field()
11     poster = Field()

12     content = Field() 

3.创建一个Spider，保存在 bbsDmoz/spiders，您必须继承 scrapy.Spider 类。

　从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制： Scrapy Selectors 。

这里给出XPath表达式的例子及对应的含义:

  • /html/head/title: 选择HTML文档中 <head> 标签内的 <title> 元素
  • /html/head/title/text(): 选择上面提到的 <title> 元素的文字
  • //td: 选择所有的 <td> 元素
  • //div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素

 

Selector有四个基本的方法(点击相应的方法可以看到详细的API文档):

 

  • xpath(): 传入xpath表达式，返回该表达式所对应的所有节点的selector list列表 。
  • css(): 传入CSS表达式，返回该表达式所对应的所有节点的selector list列表.
  • extract(): 序列化该节点为unicode字符串并返回list。
  • re(): 根据传入的正则表达式对数据进行提取，返回unicode字符串list列表。

 4.编写spider代码；

Spider代码

　　以下为我们的第一个Spider代码，保存在 bbsDmoz/spiders 目录下的 forumSpider.py 文件中：

  1 #-*- coding: utf-8 -*-

 2  '''
 3  bbsSpider, Created on Oct, 2014
  4  #version: 1.0
  5  #author: chenqx @http://chenqx.github.com
  6  See more: http://doc.scrapy.org/en/latest/index.html
  7  '''
 8  from scrapy.selector  import Selector
 9  from scrapy.http  import  Request
10  from scrapy.contrib.spiders  import CrawlSpider
11  from scrapy.contrib.loader  import ItemLoader
12  from scrapy.contrib.linkextractors.sgml  import SgmlLinkExtractor
13  from bbs.items  import BbsItem
14  class forumSpider(CrawlSpider):
15      #  name of spiders
16      name =  ' bbsSpider '
17     allow_domain = [ ' bbs.sjtu.edu.cn ']
18     start_urls = [  ' https://bbs.sjtu.edu.cn/bbsall ' ]
19     link_extractor = {
20          ' page ':  SgmlLinkExtractor(allow =  ' /bbsdoc,board,\w+\.html$ '),
21          ' page_down ':  SgmlLinkExtractor(allow =  ' /bbsdoc,board,\w+,page,\d+\.html$ '),
22          ' content ':  SgmlLinkExtractor(allow =  ' /bbscon,board,\w+,file,M\.\d+\.A\.html$ '),
23     }
24     _x_query = {
25          ' page_content ':     ' //pre/text()[2] ',
26          ' poster '    :     ' //pre/a/text() ',
27          ' forum '    :     ' //center/text()[2] ',
28     }
29   
30      def parse(self, response):
31          for link  in self.link_extractor[ ' page '].extract_links(response):
32              yield Request(url = link.url, callback=self.parse_page)
33   
34      def parse_page(self, response):
35          for link  in self.link_extractor[ ' page_down '].extract_links(response):
36              yield Request(url = link.url, callback=self.parse_page)
37     
38          for link  in self.link_extractor[ ' content '].extract_links(response):
39              yield Request(url = link.url, callback=self.parse_content)
40      def parse_content(self, response):
41         bbsItem_loader = ItemLoader(item=BbsItem(), response = response)
42         url = str(response.url)
43         bbsItem_loader.add_value( ' url ', url)
44         bbsItem_loader.add_xpath( ' forum ', self._x_query[ ' forum '])
45         bbsItem_loader.add_xpath( ' poster ', self._x_query[ ' poster '])
46         bbsItem_loader.add_xpath( ' content ', self._x_query[ ' page_content '])
47          return bbsItem_loader.load_item()

 

 5.编写 ItemPipeline

当Item在Spider中被收集之后，它将会被传递到Item Pipeline，一些组件会按照一定的顺序执行对Item的处理。
　　每个item pipeline组件(有时称之为“Item Pipeline”)是实现了简单方法的Python类。他们接收到Item并通过它执行一些行为，同时也决定此Item是否继续通过pipeline，或是被丢弃而不再进行处理。
　　以下是item pipeline的一些典型应用：

  • 清理HTML数据
  • 验证爬取的数据(检查item包含某些字段)
  • 查重(并丢弃)
  • 将爬取结果保存，如保存到数据库、XML、JSON等文件中

 

 这个例子将spider从bbs收集来的item写入data.xml文件。

  1 # -*- coding: utf-8 -*-

 2  #  Define your item pipelines here
 3  #  Don't forget to add your pipeline to the ITEM_PIPELINES setting
 4  #  See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
 5  from scrapy  import signals
 6  from scrapy  import log
 7  from bbsDmoz.items  import BbsDmozItem
 8  from twisted.enterprise  import adbapi
 9  from scrapy.contrib.exporter  import XmlItemExporter
10  from dataProcess  import dataProcess
11  class XmlWritePipeline(object):
12      def  __init__(self):
13          pass
14     @classmethod
15      def from_crawler(cls, crawler):
16         pipeline = cls()
17         crawler.signals.connect(pipeline.spider_opened, signals.spider_opened)
18         crawler.signals.connect(pipeline.spider_closed, signals.spider_closed)
19          return pipeline
20      def spider_opened(self, spider):
21         self.file = open( ' bbsData.xml ',  ' wb ')
22         self.expoter = XmlItemExporter(self.file)
23         self.expoter.start_exporting()
24      def spider_closed(self, spider):
25         self.expoter.finish_exporting()
26         self.file.close()
27          #  process the crawled data, define and call dataProcess function
28           #  dataProcess('bbsData.xml', 'text.txt')
29       def process_item(self, item, spider):
30         self.expoter.export_item(item)
31          return item

 

 6.编辑setting.py，关联spider与ItemPipeline

  1 # -*- coding: utf-8 -*-

 2  #  Scrapy settings for bbs project
 3  #  For simplicity, this file contains only the most important settings by
 4  #  default. All the other settings are documented here:
 5  #  http://doc.scrapy.org/en/latest/topics/settings.html
 6  BOT_NAME =  ' bbsDomz '
 7 CONCURRENT_REQUESTS = 200
 8 LOG_LEVEL =  ' INFO '
 9 COOKIES_ENABLED = True
10 RETRY_ENABLED = True
11 SPIDER_MODULES = [ ' bbsDomz.spiders ']
12 NEWSPIDER_MODULE =  ' bbsDomz.spiders '
13  #  JOBDIR = 'jobdir'
14  ITEM_PIPELINES = {
15      ' bbsDomz.pipelines.XmlWritePipeline ': 1000,
16 }

 

 7.大功告成，运行一下测试一下吧。

进入项目的根目录 bbsDomz/ 下，执行下列命令启动spider：

 scrapy crawl bbsSpider

可以看到命令窗口飞速删除bbs的内容，当然是u1234类似的编码，data.xml文件在不断变大，用sublime可以看到其中的汉字内容。 

ctrl+c可以中断运行，很奇怪，一中断后，xml文件读不出来了。

 

转载于:https://www.cnblogs.com/javajava/p/4798840.html

Python Scrapy：使用Scrapy Crawler Process进行爬虫启动
Python编程之道的博客
04-07 1640
Scrapy是Python生态中最强大的网络爬虫框架之一，而Crawler Process是其核心的爬虫启动和管理机制。理解Scrapy内部的爬虫启动流程掌握通过代码控制爬虫运行的高级技巧实现复杂的爬虫调度和管理需求优化爬虫启动性能和资源利用率本文涵盖从基础概念到高级用法的完整知识体系，适用于各种规模的爬虫项目。首先介绍Scrapy的基本架构和Crawler Process的定位然后深入分析Crawler Process的核心实现原理接着通过实际代码演示各种使用场景。
使用scrapy写一个爬虫
weixin_42579969的博客
02-17 64
好的，我来为你讲解一下如何使用 Scrapy 写一个爬虫。 首先，你需要安装 Scrapy，你可以使用以下命令来安装： pipinstall scrapy
手把手教你利用 Scrapy 编写一个完整的爬虫
白话机器学习
03-14 2020
提到爬虫框架，这里不得不提 Scrapy，它是一款非常强大的分布式异步爬虫框架，更加适用于企业级的爬虫！项目地址：本篇文章将借助一个简单实例来聊聊使用 Scrapy 编写爬虫的完整流程我们需要爬取目标网站下帖子的基本信息2-1 安装依赖。
【Python】使用Scrapy新建一个爬虫项目并爬取数据
qq_42595835的博客
12-27 929
使用Scrapy新建一个爬虫项目并爬取数据
如何使用Scrapy搭建一个高效的爬虫系统
apiok的博客
07-12 1966
Scrapy是一个基于Python的Web爬虫框架，具有高效的处理能力和强大的扩展性。在代码中，我们需要定义一个Spider类，其中name属性是爬虫名，allowed_domains属性是允许爬取的域名，start_urls属性是起始爬取的网址。在开发过程中，我们需要注意网络请求的效率、数据提取的准确性、数据存储的可靠性等方面。Scrapy是一个基于Python的高效的 Web 爬虫框架，它能够帮助我们快速地构建一个高效的爬虫系统。在Scrapy的配置文件中，我们可以设置我们的请求头。
Scrapy框架——分布式爬虫
m0_74653634的博客
05-13 1231
scrapy_redis 是一个基于 scrapy 框架的扩展，用于实现分布式爬虫。它通过将请求对象和去重指纹存储在共享的 redis 数据库中，允许多台服务器协同工作，从而加快数据爬取速度。scrapy_redis 的核心功能包括请求对象的持久化、去重的持久化以及分布式的实现。配置分布式爬虫时，需要在 settings.py 中设置 scrapy_redis 的去重类、调度器以及 RedisPipeline，并指定 redis 的连接参数。爬虫文件需继承 RedisCrawlSpider，并通过 redi
Scrapy框架（高效爬虫）
weixin_46287157的博客
03-04 1万+
Scrapy拥有高性能持久化存储，异步数据下载，高性能数据解析，分布式功能。
实战 | 如何利用 Scrapy 编写一个完整的爬虫！
AirPython的博客
11-21 1806
大家好，我是安果！提到爬虫框架，这里不得不提 Scrapy，它是一款非常强大的分布式异步爬虫框架，更加适用于企业级的爬虫！项目地址：https://github.com/scrapy/scrapy本篇文章将借助一个简单实例来聊聊使用 Scrapy 编写爬虫的完整流程1. 实战目标对象：aHR0cHMlM0EvL2dvLmNxbW1nby5jb20vZm9ydW0tMjMzLTEuaHRtbA==我...
Scrapy-Redis分布式爬虫
wujddjdjndn的博客
06-23 2755
当我们了解了Scrapy爬虫框架的用法过后，这些框架都是在同一台主机上运行的，爬取效率比较有限。如果能够用多台主机协同爬取，那么爬取效率必然会成倍增长，这就是分布式爬虫的优势。这里我们就来了解一下分布式爬虫的基本原理，以及 Scrapy 实现分布式爬虫的流程。
Scrapy爬虫框架，入门案例（非常详细）
热门推荐
ck784101777的博客
03-21 20万+
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试. 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 后台也应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫. Scrapy吸引人的地...
利用Moire光子晶体实现高自由度拓扑能带：探索300w+自由度，自主实施挑战！
08-14
内容概要：本文详细探讨了Moire光子晶体能带结构的研究，特别是针对超过300万自由度的复杂系统。首先介绍了Moire光子晶体的基础理论，解释了其形成机制以及能带结构对光传播的影响。随后讨论了高自由度计算所面临的挑战，包括数据量庞大和相互作用复杂等问题。文中还提供了基于Python和有限元方法的具体代码实现，展示了如何利用FEniCS库进行网格划分、定义材料属性和求解变分问题。最后提出了优化策略，如并行计算技术和高效迭代求解器的应用，以应对大规模自由度带来的计算难题。 适合人群：从事光学、材料科学研究的专业人士，尤其是对光子晶体能带结构感兴趣的科研工作者和技术开发者。 使用场景及目标：适用于希望深入了解Moire光子晶体能带特性的研究人员，旨在帮助他们掌握从理论到实践的完整流程，从而推动相关领域的技术创新和发展。 其他说明：本文不仅涵盖了理论知识，还包括具体的编程实现细节，有助于读者更好地理解和应用这一前沿技术。
Tianchi medical AI competition Season 1: Lung nodules Caffe deep learning networks. Caffe训练基于卷积神经网
08-14
资源下载链接为： https://pan.quark.cn/s/da7a241e576a Tianchi medical AI competition [Season 1]: Lung nodules Caffe deep learning networks. Caffe训练基于卷积神经网络的肺结节分类器（最新、最全版本！打开链接下载即可用！）
Linux系统文件监控工具inotify的应用.doc
08-14
Linux系统文件监控工具inotify的应用.doc
电流滞环跟踪调速系统的仿真模型及设计报告 滞环比较器
08-14
电流滞环跟踪调速系统的仿真模型及其设计。首先概述了该系统的工作原理，即通过滞环比较器实时监测并调整电机电流，确保其保持在设定范围内，从而实现对电机速度的精确控制。接着，文章重点描述了仿真模型的构建过程，包括电机模型、滞环比较器和控制器三个核心部分。电机模型采用直流电机模型，能准确反映电机的电气和机械特性；滞环比较器用于实时监测电流并与参考电流对比；控制器则基于PID调节，通过调整参数实现对电机速度的精准控制。此外，文中还涉及了各部分的关键代码分析，展示了具体实现方法。最后，通过对仿真的性能分析，验证了该系统在提高电机运行效率和稳定性方面的有效性。 适合人群：从事电机控制、自动化工程及相关领域的研究人员和技术人员。 使用场景及目标：适用于希望深入了解电流滞环跟踪调速系统工作原理及其实现方式的专业人士，旨在帮助他们掌握该系统的仿真建模技巧以及优化控制策略的方法。 其他说明：文章不仅提供了理论分析，还包括具体的代码实现细节，便于读者动手实践和进一步研究。
永磁同步电机死区补偿与过调制仿真模型研究：降低谐波的新方法与控制策略 · 过调制
最新发布
08-14
内容概要：本文详细探讨了永磁同步电机的两种死区补偿仿真模型和过调制仿真模型。首先介绍了死区补偿的重要性及其对电机性能的影响，然后分别阐述了传统死区补偿方法和改进后的死区补偿方法，后者通过引入新的检测机制和补偿算法显著降低了谐波含量。接着讨论了过调制仿真模型的应用，展示了其在提高电机输出转矩和效率方面的潜力。此外，文章还涉及了重复控制、比例谐振控制和其他先进控制模型，提出了实际应用中的小改进建议，如自适应调整机制和智能优化算法。最后，文章总结了各种方法的优势和不足，并展望了未来的发展方向。 适合人群：从事电机控制系统设计的研究人员、工程师及相关领域的学生。 使用场景及目标：适用于需要深入了解永磁同步电机死区补偿和过调制技术的专业人士，旨在提升电机控制系统的性能和效率。 其他说明：文中包含了部分代码片段，有助于读者理解相关算法和模型的具体实现。
Maxwell环境下高速永磁同步电机建模仿真：50,000至100,000rpm性能解析 - 电机建模
08-14
内容概要：本文详细探讨了在Maxwell软件环境中，针对转速范围为50,000至100,000rpm的高速永磁同步电机进行建模仿真的方法和技术。文章首先介绍了高速永磁同步电机的基础理论，解释了其工作原理和特性。接着，重点讨论了Maxwell软件的功能及其在电机建模中的具体应用，强调了该软件在模拟电机磁场分布、电流变化及性能方面的优势。随后，文章深入分析了在指定转速范围内进行建模仿实时需要考虑的关键因素，如热性能、机械强度和电磁噪声等，并通过仿真结果预测电机在不同转速下的性能表现，为电机设计和优化提供了重要依据。 适合人群：从事电机设计、仿真分析的技术人员，尤其是关注高速永磁同步电机性能优化的研发人员。 使用场景及目标：适用于希望利用Maxwell软件对高速永磁同步电机进行深入研究和优化设计的专业人士，旨在提升电机的性能、稳定性和可靠性。 其他说明：文章不仅提供了详细的建模步骤和技术要点，还强调了实际应用中的注意事项，帮助读者更好地理解和掌握相关技术和方法。
QT6 图形视图架构里的视图 QGraphicsView 的源代码带注释
08-14
QT6 图形视图架构里的视图 QGraphicsView 的源代码带注释
MATLAB环境下基于Excel数据的支持向量机SVM分类问题解决方案
08-14
内容概要：本文介绍了利用MATLAB实现支持向量机（SVM）分类问题的方法，重点在于从Excel文件中便捷地导入数据，支持多维和一维输入，输出为一维分类结果。文中详细讲解了数据导入、SVM模型训练（采用径向基函数作为核函数）、预测与结果输出三个主要步骤，并附有lib工具箱以保障程序顺利执行。整个过程简单易懂，便于初学者快速掌握SVM分类的应用技巧。 适合人群：对机器学习感兴趣的研究人员、学生或者有一定编程基础的数据分析师。 使用场景及目标：适用于需要处理分类问题的科研项目或实际应用中，如图像识别、文本分类等领域。通过学习本文提供的方法，使用者能够独立完成从数据准备到模型构建再到结果验证的一系列操作。 其他说明：除了默认使用的径向基函数外，用户可以根据具体需求选择其他类型的核函数，并适当调整相关参数以提高模型准确性。同时，所提供的lib工具箱极大地降低了入门门槛，使得更多人可以轻松参与到SVM的学习与实践中来。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值