使用 Python Scrapy 爬取微博内容【二】

接上文。
根据实验，微博对于同一IP/Cookiess连续爬取允许时间大约为5min，所以为了连续的爬取，拥有多个账号&代理&User_Agent 是十分必要的。
账号这个我不多说，淘宝几毛钱的事情，但实现自动登录获取Cookies这个我没有研究过，但跟今天我要说的没什么关系。
今天我要说的是在Scrapy中使用代理来访问微博进而进行爬取。
首先我们得找到一些免费可用的代理服务器。网上有很多Python自动获取代理的方法，我这里只做简单的实验，所以就直接在程序中写死。

http://www.xdaili.cn/freeproxy.html

这个网站很不错，推荐的那几个免费的基本都能用。我这里使用他的无密码代理。

下面进入正文。

Settings.py的配置

想要使用代理，我们必须打开Downloader的Middleware。
设置如下：

DOWNLOADER_MIDDLEWARES = {
    'Spider.middlewares.Proxy_And_UsrAgent': 100,
}

由于只是使用代理，这使得我们的代码变得异常简单。

from Spider.settings import US