Scrapy框架学习笔记 - 爬取腾讯招聘网数据

一、Scrapy框架概述

（一）网络爬虫

• 网络爬虫：在本质上就是模拟用户在浏览器上操作，发送请求，接收响应，然后分析并保存数据，只不过这个过程通过代码实现了大量的自动化操作。
  
• 爬虫基本流程
  
  爬虫学习笔记：爬取单张图片

（二）Scrapy框架

• Scrapy是一个使用Python实现的，为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。只需要定制开发几个模块就可以轻松地实现一个爬虫，用来抓取网页内容以及各种图片，非常方便。Scrapy使用了Twisted异步网络框架来处理网络通信，可以加快下载速度，并且包含各种中间件接口，可以灵活地完成各种需求。