Python语言——爬虫使用代理ip池

最新推荐文章于 2024-03-22 11:31:27 发布

原创最新推荐文章于 2024-03-22 11:31:27 发布 · 644 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python爬虫 #urllib2

python爬虫专栏收录该内容

1 篇文章

订阅专栏

博客介绍了代理IP池相关内容。创建IP池可通过动态或静态方法，从匿名IP网站爬取代理IP，清洗后将可用IP写入列表形成IP池。当某个IP不能用时，从池中剔除。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代理ip池

拓展：代理ip池的方法，可以看出，检测出的ip是ip池中的一个，对吧，很简单对不对，那么怎么来创建ip池呢，也很简单，用动态或者静态方法随便找个匿名ip的网站进行代理ip爬取，然后清洗一下ip，把能用的（测试一个简单的返回状态网页）留下来写到列表里，然后就可以形成ip池啦，最后当某个ip不能用了，那就从池中剔除！ip池制作。

# -*- coding: utf-8 -*-

import urllib2
import random
#使用代理池的方法
ip_list=['119.6.136.122','114.106.77.14']
#使用一组ip调用random函数来随机使用其中一个ip
url = "http://www.ip181.com/"
proxy_support = urllib2.ProxyHandler({'http':random.choice(ip_list)})
#参数是一个字典{'类型':'代理ip:端口号'}
opener = urllib2.build_opener(proxy_support)
#定制opener
opener.add_handler=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36')]
#add_handler给加上伪装
urllib2.install_opener(opener)
response = urllib2.urlopen(url)

print response.read().decode('gbk')