skyever0的专栏

目录 环境搭建 python 解释器安装 Pycharm安装 开发环境设置 对爬虫的兴趣起源于现有的搜索引擎没法满足我对于数据的好奇心，比如说，有时候我看到了一篇新闻，里面讲了某个事件，这个事件信息里又有很多引申的信息，这个时候，想知道更多就得再搜一轮（熬夜就是这么来的...）。这个过程可以无限拓展，一直刷到手机没电...... 所以呢，就想能不能有个自动化的，定制化的信息获取方式。爬虫...

要做爬虫需要了解http的一些基础知识，下面总结成一张思维导图  

来源：https://docs.scrapy.org/en/latest/topics/architecture.html#topics-architecture 架构概览 综述 下图展示了scrapy 架构的概要，包含其组件和系统中数据流的展示（红色箭头）。 数据流（data flow） scrapy中的数据流被其执行引擎（execution engine）控制，运行原理如下： 引擎从S...