
爬虫
tony哒...
程序主导人生,代码改变世界
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
scrapy框架中Spider源码解析
scrapy框架中Spider源码解析 一、scrapy架构 在讲解spider类之前,我们先来了解下scrapy这个框架的整体架构 请看下面scrapy工作流程图 1.scrapy引擎(Scrapy Engine) 引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。 2.调度器(Scheduler) 调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引...原创 2018-11-03 11:31:02 · 2334 阅读 · 0 评论 -
scrapy框架中Crawlspider模块源码剖析
一、前言 1、scrapy从Terminal中通过genspider命令创建一个蜘蛛,其中包含四个模块,分别为spider,crawlspider,csvfeedspider和xmlfeedspider,其中spider(basic模块)和crawlspider最为常用。 2、做过web后台开发的都知道,很多网站中定义url都是有一定规则的(如django路由系统中定义的urls规则就是正则表达式...原创 2018-11-03 16:38:17 · 841 阅读 · 0 评论