ProxyHandler处理器（代理设置）----爬虫学习

最新推荐文章于 2024-04-08 23:36:10 发布

python_Allen

最新推荐文章于 2024-04-08 23:36:10 发布

阅读量373

点赞数

文章标签： python

本文链接：https://blog.youkuaiyun.com/python_Allen/article/details/106940764

版权

本文介绍如何使用urllib库中的ProxyHandler处理器设置代理服务器，以避免因频繁访问而被目标网站封禁IP。通过定期更换代理，可以实现稳定且持续的数据抓取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ProxyHandler处理器（代理设置）
很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。
所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。
urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理：

from urllib import request

#这个是没有使用代理的
resp = request.urlopen(‘http://httpbin.org/get’)
print(resp.read().decode(“utf-8”))

#这个是使用了代理的
handler = request.ProxyHandler({“http”:“218.66.161.88:31769”})

opener = request.build_opener(handler)
req = request.Request(“http://httpbin.org/ip”)
resp = opener.open(req)
print(resp.read())