Scrapy 通过代理（Proxy）爬取外部网站

Scrapy 通过代理（Proxy）爬取外部网站

通常我们不需要特殊处理就能直接的访问WWW。但当你处于内部网络通过代理访问外部的时候，或者一些特殊的情况下，你会需要这个技能。

默认你已经会用Scrapy制作蜘蛛了。你可以参考我的另一个介绍页面，或者其他更详尽的教程。

最简单直接的办法

就是在蜘蛛的开头设置系统环境变量像这样：

import os
# 设置相应的代理用户名密码，主机和端口号
os.environ["http_proxy"] = "http://user:password@proxy.internal.server.com:8080"
class YourCrawlSpider(CrawlSpider):

统一的解决方案

如果你蜘蛛很