使用 urllib 设置代理服务

最新推荐文章于 2024-06-24 23:18:03 发布

weixin_30596165

最新推荐文章于 2024-06-24 23:18:03 发布

阅读量347

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/pzk7788/p/10531072.html

本文介绍如何通过使用代理IP防止爬虫被目标网站屏蔽，详细解释了代理服务器的作用及其实现方法，并提供了一个使用Python和urllib库实现的本地代理示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

(1) 如果我们一直用同一个IP去请求同一个网站上的网页，久了之后可能会被该网站服务器屏蔽，因此我们可以使用代理IP来发起请求，代理实际上指的就是代理服务器
(2) 当我们使用代理IP发起请求时，服务器端显示的是代理IP的地址，即使被屏蔽了，我们可以换一个代理IP继续爬取，代理IP获取页面：https://www.xicidaili.com/

这里我在本地搭建了一个代理，它运行在 8888 端口，我们使用这个代理来请求服务器：

from urllib.request import ProxyHandler, build_opener

proxy_handler = ProxyHandler({
    'http': '127.0.0.1:8888',
    'https': '127.0.0.1:8888'
})

opener = build_opener(proxy_handler)
response = opener.open("http://www.baidu.com/")
print(response.read().decode('utf-8'))