python爬虫中的ip代理设置

最新推荐文章于 2025-05-23 16:17:25 发布

Python之眼

最新推荐文章于 2025-05-23 16:17:25 发布

阅读量606

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签：爬虫程序员新手入门

本文链接：https://blog.youkuaiyun.com/weixin_42625143/article/details/98866089

爬虫专栏收录该内容

10 篇文章

订阅专栏

本文介绍如何设置IP代理用于爬虫操作，包括检查本机IP地址、选用免费代理IP及使用Python requests库进行代理设置的方法。通过实例演示，验证代理IP是否有效。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

设置ip代理是爬虫必不可少的技巧；

查看本机ip地址；打开百度，输入“ip地址”，可以看到本机的IP地址；在这里插入图片描述
本文使用的是goubanjia.com里面的免费ip；
使用时注意要注意传输协议是http还是https，代码如下；

# 用到的库
import requests
# 写入获取到的ip地址到proxy
proxy = {
    'https':'221.178.232.130:8080'
}
# 用百度检测ip代理是否成功
url = 'https://www.baidu.com/s?'
# 请求网页传的参数
params={
    'wd':'ip地址'
}
# 请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
}
# 发送get请求
response = requests.get(url=url,headers=headers,params=params,proxies=proxy)
# 获取返回页面保存到本地，便于查看
with open('ip.html','w',encoding='utf-8') as f:
    f.write(response.text)