给Scrapy添加代理

给请求添加代理有2种方式，第一种重写start_request方法，第二种是添加download中间件。下面分别介绍这2种方式。
一.重写start_request方法

比较简单，只是在meta中加了一个proxy代理。然后可以测试了，那么问题来了，我怎么知道我的请求是否带上了代理呢？可以在测试的时候去爬 “http://ip.filefab.com/index.php” 这个网站，它会显示你当前访问ip地址。一切准备就绪了，我在我的intellij控制台中输入命令： cd /spider和scrapy crawl dmoz，然后控制台打印：

二.使用DOWNLOAD中间件
1.在middlewares.py中增加一个类，取名：ProxyMiddleware即代理中间件：