urllib库数据挖掘【4】--使用代理IP

本文介绍使用代理IP访问网址的方法。此前学习了伪装浏览器访问,此次可找免费代理IP,如西刺免费代理IP。还说明了定义url和代理IP、创建自定义opener、发送请求查看结果,以及使用多个代理IP随机请求的办法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

之前我们学习了通过伪装成浏览器去访问网址,这篇文章我们一起学习一下如何使用代理IP进行访问。可以在网上找一些免费的代理IP来使用,如西刺免费代理IP

首先,定义要访问的url和一个代理IP:

# 定义要访问的url
url = "http://www.baidu.com"

# 定义代理IP,格式为:{"protocol_name": "ip:port"}
proxy = {"http": "112.85.130.178:9999"}

之后创建一个自定义opener:

from urllib import request


# 构建代理处理器对象
proxy_handler = request.ProxyHandler(proxy)

# 创建自定义opener
opener = request.build_opener(proxy_handler)

发送请求并查看响应结果:

from urllib import request

# 定义要访问的url
url = "http://www.baidu.com"

# 定义代理IP,格式为:{"protocol_name": "ip:port"}
proxy = {"http": "14.115.105.134:9797"}

# 构建代理处理器对象
proxy_handler = request.ProxyHandler(proxy)

# 创建自定义opener
opener = request.build_opener(proxy_handler)

# 创建请求对象
req = request.Request(url)
# 发送请求
response = opener.open(req).read().decode()
print(response)

使用多个代理IP进行随机请求的办法:

import random


proxy_list = [
	{"http": "121.79.131.58:8080"},
	{"http": "112.85.129.30:9999"},
]

proxy = random.choice(proxy_list)

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值