vic4399的博客

1.scrapy scrapy是什么 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，能够快速的抓取 scrapy使用了异步网络框架，可以加快我们的下载速度 掌握Scrapy中每个模块的作用 引擎(engine)：负责数据和信号在不同模块间的传递 调度器(scheduler)：实现一个队列，存放引擎发过来的request请求对象 下载器(downloader)：发送引擎发过来的request请求，获取响应，并将响应交给引擎 爬虫(spider)：处理引擎发