超级会员免费看
本文介绍了Scrapy框架的基础知识，包括什么是框架、Scrapy简介、安装步骤、工作流程及其核心组件。Scrapy是一个用于爬取网站数据的强大的Python框架，具有速度快、简单和可扩展性强等特点。文章详细阐述了Scrapy的安装、工作流程，强调了调度器、下载器、爬虫和管道的角色，并提供了创建项目和爬虫文件的基本操作指南。
Scrapy框架
1.什么是框架？
所谓的框，其实说白了就是一个【项目的半成品】，该项目的半成品需要被集成了各种功能且具有较强的通用性。
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。
所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。
对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。
初期如何学习框架？
框架是为了帮助程序员更快地完成大批量的开发工作，为了应对各种情况，一般都会给出非常丰富的功能，对于小白来说，一开始会有点痛苦 如果只是接单，框架我们可能用不到。我们目前学起来主要是为了开拓视野
只需要学习框架集成好的各种功能的用法即可！前期切勿钻研框架的源码！
爬虫工程化
在之前的学习中我们已经掌握了爬虫这门技术需要的大多数的技术点, 但是我们现在写的代码还很流程化, 很难进行商用的. 想要我们的爬虫达到商用级别, 必须要对我们现在编写的爬虫代码进行大刀阔斧式的重组, 已达到工程化的爬虫. 何为工程化, 就是让你的程序更加的有体系, 有逻辑, 更加的模块化.
就好比, 我们家里以前做
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
