贼贼弟的博客

本文项目采用python3.6版本语言，利用scrapy框架进行爬取。该项目实现的功能是获取http://www.proxy360.cn和http://www.xicidaili.com网站中的代理信息，由于网站设有反爬虫机制，网站是通过浏览器发送过来的User-Agent的值来确认浏览器身份的，所以为了避免被查出是爬虫，所以该项目中修改了USER_AGENT的值，关于常见反爬虫机制请参照本博

本篇博客需要读者有一定的爬虫基础，需要在爬虫过程中遇到一些反爬虫机制学起来才有意思。如果对爬虫不是很了解的可以先看下我前面4个实战。本文项目采用python3.6版本语言，利用scrapy框架进行爬取。实现的功能是爬取美剧100（http://www.meijutt.com/new100.html）的信息。下面是本次项目的目录结构：----meiju100----meiju100-

· 本文采用python3.6版本语言，利用scrapy框架进行爬取。还没有安装scrapy的小伙伴需要先安装scrapy，网上有很多教程，但是大多数是针对python2.7的，其实python3.6版本下安装scrapy很简单，python3.6版本在安装时候已经将pip环境搭建好，windows下只需要cmd ->pip install scrapy即可安装。不过安装scrapy还是有点看运气

本文项目采用python3.6版本语言，利用scrapy框架进行爬取。该项目实现的功能是爬取某城市的天气以及往后预报一周的天气，并将爬取到的信息保存为.txt文件和写入mysql数据库。利用scrapy爬虫就像是做填空题，只需要在相应的文件里填入相应的内容，连文件名都不用该。下面是本次项目的目录结构：----weather----weather----spide

本文项目采用python3.6版本语言，利用scrapy框架进行爬取。该案例相比于之间几个案例新增的知识点是：添加中间件。实现的功能是爬取糗事百科（http://www.qiushibaike.com）的信息。下面是本次项目的目录结构：----qiushi----qiushi----middlewares__init__.pycustomMiddlewares.