Python爬虫 获取免费的代理Ip

**

Python爬虫 获取免费的代理Ip

**

最近在学习爬虫，在抓取b站弹幕的时候，由于同一ip访问次数过多，出现了ip地址被禁止访问的情况。当时贪写起来简单，就没有调取MongoDB数据库存储，使得前面抓取的网页全部丢失了，实在是有点得不偿失。

在网上简单查了一下，出现不明原因访问禁止主要有以下两种解决方法：

• 推迟调用线程的运行，比如 time.sleep()
• 在发送请求时使用代理

在这里记录一下代理的抓取方法。

• 首先，找到免费代理的网站：https://www.xicidaili.com/，利用简单的 requests.get 来获取网页源码，以及 BeautifulSoup 来解析获取代理 ip 的地址和端口。

# 获取西刺代理网站上的免费代理

def get_Ip():
    proxies = []

    for i in range(1, 3):
        try:
        	# 西刺代理网上的 https 类型代理
            url = 'http://www.xicidaili.com/wn/' + str(i)
            req = requests.get(url, headers=headers)
            cnt = req.content

            # 网页源码中提取IP地址和端口
            soup = BeautifulSoup(cnt)
            ips = soup.findAll('tr')
            for x in range(1, len(ips)):
                ip = ips[x]
                tds = ip.findAll('td')
                ip_temp = tds[1].contents[0] + '\t' + tds[2].contents[0]
                proxies.append(ip_temp)
        except:
            continue
    
    return proxies

• 由于免费代理使用人数较多，且可能不太稳定，需要检测代理能否应用到对目标网站的请求当中。

# 检测获取代理的可用性

def validate_Ip(proxies):
    url = 'https://www.bilibili.com/'

    f = open('ipbilibili.txt', 'w')
    # 用 bilibili 请求访问进行检测并记录通过检测的代理
    for i in range(0, len(proxies)):
        try:
            ip = proxies[i].strip().split('\t')
            proxy_host = 'https://' + ip[0] + ':' + ip[1]
            proxy_temp = {'https': proxy_host}
            req = requests.get(url, headers=headers, proxies=proxy_temp, timeout=3)
            f.write(proxies[i] + '\n')
            print proxies[i]
        except Exception, e:
            continue
    
    f.close()
    return True

• 最后，打开目录文件夹下的 ipbilibili.txt，里面就是目前所能够使用的代理了，不过代理有时候会因为各种原因无法连接成功，在使用的时候只要多尝试请求几次一般就可以成功了。