python爬虫自定义header头部

一、Handler处理器 和 自定义Opener

关注公众号“轻松学编程”了解更多。

opener是 urllib.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。
但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能，可以自定义打开器，流程如下：

1、自定义处理器(hander)对象，可以处理cookie等高级功能

# handler = urllib.request.HTTPHandler() # 处理http
handler = urllib.request.HTTPSHandler()  # 可以