基本库的使用--urllib-发送请求03--高级用法-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_40959890/article/details/109282970

Handler--处理器

有专门处理登陆验证的，有专门处理Cookies的，有专门处理设置的。

urlli.request模块里的BaseHandler类是所有其他Handler的父类：

HTTPDefaultErrorHandler：用于处理HTTP响应错误，错误都会抛出HTTPError类型的异常
HTTPRedirectHandler：处理重定向
HTTPCookiesProcessor：用于处理Cookies
ProxyHandler：用于设置代理，默认代理为空
HTTPPasswordMgr：管理密码，它维护了用户名和密码的表
HTTPBasicAuthHandler：用于管理认证，如果一个链接打开时需要你认证，那么可以用它来解决认证问题

其他Handler，官方文档：https://docs.python.org/3/library/urllib.request.html#urllib.request.BaseHandler

验证

有些网站在打开时需要弹出提示框，直接提示你输入用户名和密码，验证成功后才能查看页面。

from urllib.request import HTTPPasswordMgrWithDefaultRealm,HTTPBasicAuthHandler,build_opener
from urllib.error import URLError

username = 'username'
password = 'password'
url = 'http://localhost:5000/'

p = HTTPPasswordMgrWithDefaultRealm()
p.add_password(None,url,username,password)
auth_handler = HTTPBasicAuthHandler(p)
opener = build_opener(auth_handler)

try:
    result = opener.open(url)
    html = result.read().decode('utf-8')
    print(html)
except URLError as e:
    print(e.reason)

首先实例化HttpBasicAuthHandler对象，其参数是HTTPPasswordMgrWithDefaultRealm对象，它利用add_password（）添加进去用户的用户名和密码，这样就建立了一个处理验证的Handler。

接下来利用这个handler并使用build_opener()方法构建一个opener，这个Opener在发送请求时就相当于已经验证成功了。获取的结果就是验证后页面源码内容。

代理

from urllib.error import URLError
from urllib.request import ProxyHandler,build_opener

proxy_handler = ProxyHandler({
    'http':'http://127.0.0.1:9743',
    'https':'https://127.0.0.1:9743'
})
opener = build_opener(proxy_handler)
try:
    response = opener.open('https://blog.youkuaiyun.com/weixin_40959890')
    print(response.read().decode('utf-8'))
except URLError as e :
    print(e.reason)

这里我们搭建了一个代理，它运行在9743端口上。这里使用的ProxyHandler，其参数是一个字典，键名是协议类型（比如http或者https等），键值是代理链接，可以添加多个代理。然后利用这个Handler及build_opener()方法构造一个Opener，之后发送请求即可。

如何将网页的Cookies获取下来：

import http.cookiejar,urllib.request

cookies = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookies)
opener = urllib.request.build_opener(handler)
response = opener.open('https://blog.youkuaiyun.com/weixin_40959890/article/details/107181269')
for item in cookies:
    print(item.name+"="+item.value)

首先声明一个CookieJar对象。接下来就需要利用HTTPCookieProcessor来构造一个Handler，最后利用build_opener()方法来构造出Opener，执行open（）函数即可。

运行结果：

将Cookies内容输出到文件里：

import http.cookiejar,urllib.request

filename = 'cookies.txt'
cookies = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookies)
opener = urllib.request.build_opener(handler)
response = opener.open('https://blog.youkuaiyun.com/weixin_40959890/article/details/107181269')
cookies.save(ignore_discard=True,ignore_expires=True)

这时CookieJar就需要换成MozillaCookieJar，它在生成文件时会用到，是CookieJar的子类，可以用来处理Cookies和文件相关的事件，比如读取和保存Cookies，可以将Cookies保存成Mozilla型浏览器的Cookies格式。

cookies.txt内容（不知道为啥刷新了好几次文件才出来...)：

另外，LWPCookieJar也可以读取和保存Cookies，但是保存的格式和MozillaCookieJar不一样，它会保存成libwww-perl（LWP）格式的Cookies文件。要保存LWP格式的额Cookies文件，可以在声明时就改为：

cookies = http.cookiejar.LWPCookieJar(filename)

运行后cookies.txt内容：

生成cookies文件后，如何读取：

import http.cookiejar,urllib.request


cookies = http.cookiejar.LWPCookieJar()
cookies.load('cookies.txt',ignore_discard=True,ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookies)
opener = urllib.request.build_opener(handler)
response = opener.open('https://blog.youkuaiyun.com/weixin_40959890/article/details/107181269')
print(response.read().decode('utf-8'))

可以看到这里调用了load（）方法来读取本地的cookies文件，获取到了Cookies的内容。不过前提是我们首先生成了LWPCookieJar格式的Cookies，并把它保存成文件，然后读取Cookies后使用同样的方法构建Handler和Opener即可完成操作。

运行结果（url网页的源代码）：