urllib2自定义构建代理handler之公开代理的使用（不需要授权）

最新推荐文章于 2020-06-02 18:48:28 发布

原创最新推荐文章于 2020-06-02 18:48:28 发布 · 517 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

python 同时被 2 个专栏收录

59 篇文章

订阅专栏

爬虫

27 篇文章

订阅专栏

本文介绍了如何在Python中使用urllib2库的自定义Handler来设置HTTP代理。通过构建Handler处理器对象，根据代理开关选择是否使用代理，并利用build_opener方法创建opener。最后，通过install_opener将opener设置为全局，实现使用urlopen方法发送带有代理的请求。

在https://blog.youkuaiyun.com/myli_binbin/article/details/99759031中提到，当使用自定义handler时，生成opener后，要调用opener的open方法去发送请求，这篇文章提到如何使用自定义handler后继续使用urlopen方法发送请求

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import urllib2

# 代理开关，表示是否启用代理
proxyswitch = True

# 构建一个Handler处理器对象，参数是一个字典类型，包括代理类型和代理服务器IP+PROT
httpproxy_handler = urllib2.ProxyHandler({"http": "116.21.122.236:808"})

# 构建了一个没有代理的处理器对象
nullproxy_handler = urllib2.ProxyHandler({})

if proxyswitch:
    opener = urllib2.build_opener(httpproxy_handler)
else:
    opener = urllib2.build_opener(nullproxy_handler)

# 构建了一个全局的opener，之后所有的请求都可以用urlopen()方式去发送，也附带Handler的功能
urllib2.install_opener(opener)

request = urllib2.Request("http://www.baidu.com/")
response = urllib2.urlopen(request)

print response.read()