Python的urllib2的代理设置

iteye_9789

于 2013-11-01 17:58:51 发布

阅读量209

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python

本文链接：https://blog.youkuaiyun.com/iteye_9789/article/details/82547076

python 专栏收录该内容

4 篇文章

订阅专栏

本文介绍了如何使用代理技术解决爬取有访问频率限制网站的数据问题，通过设置代理服务器地址、创建代理处理器和安装代理操作器实现高效数据抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

程序中使用代理的应用场景主要是：爬去有访问频率限制的网站的数据或者用于刷票等
代理的代码很简单，可以和上一篇的cookie、header等一起设置，具体可参考官方api


 proxy_info = "219.232.47.153:80"
 proxy_handler = urllib2.ProxyHandler({"http" : "http://%s/" % proxy_info})
 proxy_opener = urllib2.build_opener(proxy_handler)

 之后
 urllib2.install_opener(proxy_opener)
 或者
 proxy_opener.open(url).read()