python scrapy 代理中间件，爬虫必掌握的内容之一

本篇博客为大家说明一下 scrapy 中代理相关知识点。

代理的使用场景

编写爬虫代码的程序员，永远绕不开就是使用代理，在编码过程中，你会碰到如下情形：

1. 网络不好，需要代理；
2. 目标站点国内访问不了，需要代理；
3. 网站封杀了你的 IP，需要代理。

使用 HttpProxyMiddleware 中间件

本次的测试站点依旧使用 http://httpbin.org/，通过访问 http://httpbin.org/ip 可以获取当前请求的 IP 地址。
HttpProxyMiddleware 中间件默认是开启的，可以查看其源码重点为 process_request() 方法。

修改代理的方式非常简单，只需要在 Requests 请求创建的时候，增加 meta 参数即可。

import