python学习笔记 --- 关于openers和handlers

最新推荐文章于 2025-06-27 00:22:09 发布

mayday526

最新推荐文章于 2025-06-27 00:22:09 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： Python

本文链接：https://blog.youkuaiyun.com/whd526/article/details/52279153

Python 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了如何使用Python的urllib2库创建自定义的URL opener，并通过HTTPBasicAuthHandler处理基本的身份验证。同时，文章还讲解了如何管理和配置密码，以及如何设置代理服务器。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我们使用一个opener去返回一个URL。通常我们默认的opener是通过urlopen。但是也可以创建一个惯用的（custom）openers。openers使用handlers，每一个handler知道怎么为一个特定的URL模式（http，ftp，etc.）打开URLs。

创建一个opener，就要实例化一个OpenerDirector，然后不停地调用.add_handler(some_handler_instance)。
或者，可以使用build_opener，这个单一的函数默认增加了各种handlers，但提供提供了一种快速的方式去增加或重写默认的handlers。

install_opener可以用来创建一个opener对象（全局的默认opener）。这意味着调用urlopen时会使用你已经安装的opener。

opener对象有一个open的方法，它能够直接调用来返回URL，就像urlopen函数一样。所以说没有必要去调用install_opener,除非它更方便。

创建和安装一个handler需要使用HTTPBasicAuthHandler。
当需要验证请求时，服务器发送一个header（以及401错误代码）请求验证身份。
这指定了一个authentication schema 和一个‘realm’。这个header模式就是：Www-authenticate： SCHEMA realm = ‘REALM’。

当发生401，用户应该重试请求，给header一个合适的姓名和密码。这就是基本的验证。为了简化这一过程，我们可以创建HTTPBasicAuthHandler的实例和一个opener去使用handler。

HTTPBasicAuthHandler会使用一个对象去调用一个密码管理者来处理URLs和realms到密码和用户名的映射。
如果你知道realm是什么（从服务器发送的authentica header），就可以使用HTTPPasswordMgr。
但是一般人并不知道realm是什么，在这种情况下，我们可以方便地使用HTTPPasswordMgrWithDefaultRealm，它允许你为URL去定义一个默认的username和password。
而它的add_password方法提供None作为realm的参数。

<span style="font-size:14px;"># create a password manager
password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm()

# Add the username and password.
# If we knew the realm, we could use it instead of ``None``.
top_level_url = "http://example.com/foo/"
password_mgr.add_password(None, top_level_url, username, password)

handler = urllib2.HTTPBasicAuthHandler(password_mgr)

# create "opener" (OpenerDirector instance)
opener = urllib2.build_opener(handler)

# use the opener to fetch a URL
opener.open(a_url)

# Install the opener.
# Now all calls to urllib2.urlopen use our opener.
urllib2.install_opener(opener)</span>

proxies

urllib2自动检测代理服务器设置和使用，它通过使用ProxyHandler。

<span style="font-size:14px;">>>> proxy_support = urllib2.ProxyHandler({})
>>> opener = urllib2.build_opener(proxy_support)
>>> urllib2.install_opener(opener)</span>