urllib -- ProxyHandler处理器（代理设置）

最新推荐文章于 2023-12-07 09:21:29 发布

转载最新推荐文章于 2023-12-07 09:21:29 发布 · 761 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/AndyChen2015/p/7418504.html

文章标签：

#python

本文介绍如何使用Python的urllib库配合随机选取的代理IP访问网页。代码演示了设置代理IP、构建代理处理器及使用自定义代理进行HTTP请求的过程。此外还介绍了如何处理HTTPS请求并忽略未验证的SSL证书。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import  urllib.request
import  random
import  ssl

proxy_list = [
    {"https" : "196.61.27.58:53281"},
    {"http" : "121.232.144.81:9000"}
]

# 随机选择一个代理
proxy = random.choice(proxy_list)

# 构建两个代理Handler，一个有 代理ip，一个没有代理ip
httpproxy_handler = urllib.request.ProxyHandler(proxy)
nullproxy_handler = urllib.request.ProxyHandler()

# 使用私密代理
# httpproxy_handler = urllib2.ProxyHandler({'http':"用户名：密码@2175.9.179.50:80"})

# 定义一个代理开关
proxySwitch = True

# 通过urllib.request.build_opener()方法使用代理对象Handler，并创建opener对象
# 根据代理开关是否打开，使用不同的代理模式
if proxySwitch:
    opener = urllib.request.build_opener(httpproxy_handler)
else:
    opener = urllib.request.build_opener(nullproxy_handler)

request = urllib.request.Request("http://www.baidu.com/")

# 1. 如果这么写，只有使用opener.open()方法发送请求才使用自定义的代理，而urlopen()则不使用自定义代理。
# response = opener.open(request)

# 2. 构建全局的opener，之后的所有请求都可以用urlopen()方法去发送，都将使用自定义代理。
urllib.request.install_opener(opener)
response = urllib.request.urlopen(request,context=ssl._create_unverified_context())

print(response.read().decode('utf-8'))

"""
urllib.error.URLError: <urlopen error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。>
HTTPS 请求验证SSL证书，就像web浏览器一样，如果网站的SSL证书是经过CA认证的，则能够正常访问
导入Python SSL处理模块
import ssl
2. 表示忽略未经核实的SSL证书认证
context = ssl._create_unverified_context()

urlopen()方法里 指明添加 context 参数
response = urllib.request.urlopen(request, context = context)
"""