Python网络请求神器：Requests库从入门到精通

已于 2025-07-29 13:30:13 修改
阅读量617 收藏 3
点赞数 13
CC 4.0 BY-SA版权
分类专栏： 爬虫 文章标签： python scrapy conda beautifulsoup
于 2025-07-29 13:29:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/csdn_strive/article/details/149745373

Python网络请求神器：Requests库从入门到精通

掌握HTTP请求的艺术，让你的Python程序轻松连接世界

在当今互联网时代，让程序与网络服务交互已成为开发者必备技能。而Python的Requests库正是这一领域最受欢迎的利器。本文将带你从零开始，全面掌握Requests库的使用技巧，助你轻松处理各种HTTP请求场景。

一、Requests库简介

Requests是一个优雅而简洁的Python HTTP库，由Kenneth Reitz开发，专为人类设计。它抽象了复杂的底层操作，让发送HTTP请求变得简单直观。与Python内置的urllib相比，Requests提供了更简洁的API和更强大的功能，包括：

  • 支持多种HTTP方法（GET、POST、PUT、DELETE等）
  • 自动处理连接池和持久连接
  • 简洁的请求参数处理
  • 完善的异常处理机制
  • 会话和Cookie持久化支持

正因如此，Requests已成为Python开发者进行网络请求的首选工具，在爬虫开发、API调用、Web服务测试等场景中广泛应用。

二、安装Requests库

在开始使用Requests前，需要先安装它。安装过程非常简单：

方法1：使用pip安装（推荐）

pip install requests

方法2：使用conda安装（适合Anaconda用户）

conda install requests

验证安装

安装完成后，可以通过以下代码验证是否安装成功：

import requests
print(requests.__version__)  # 输出安装的版本号

如果输出版本号（如2.31.0），说明安装成功。

提示：如果安装速度慢，可使用国内镜像源加速：

pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple

三、发起HTTP请求

Requests支持所有常见的HTTP方法，下面逐一介绍。

1. GET请求 - 获取资源

GET是最常用的HTTP方法，用于从服务器获取资源：

import requests

response = requests.get('https://api.example.com/data')

# 检查请求是否成功
if response.status_code == 200:
    print("请求成功！")
    print("响应内容：", response.text)
else:
    print(f"请求失败，状态码：{response.status_code}")
带参数的GET请求

实际应用中，经常需要在URL中添加查询参数：

params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get('https://api.example.com/search', params=params)

# 实际请求的URL将是：
# https://api.example.com/search?key1=value1&key2=value2
print("实际请求URL:", response.url)

2. POST请求 - 提交数据

POST用于向服务器提交数据，如表单提交或API调用：

发送表单数据
data = {'username': 'admin', 'password': 'secret'}
response = requests.post('https://api.example.com/login', data=data)
发送JSON数据
json_data = {'name': 'John', 'age': 30}
response = requests.post('https://api.example.com/users', json=json_data)

使用json参数时，Requests会自动设置Content-Type为application/json，并将字典转换为JSON字符串。

3. 其他HTTP方法

Requests同样支持PUT、DELETE等其他HTTP方法：

# PUT请求 - 更新资源
response = requests.put('https://api.example.com/user/1', data={'name': '新名字'})

# DELETE请求 - 删除资源
response = requests.delete('https://api.example.com/user/1')

# HEAD请求 - 获取头部信息
response = requests.head('https://api.example.com')
print(response.headers)  # 只获取头部信息，不返回内容主体

# OPTIONS请求 - 获取服务器支持的HTTP方法
response = requests.options('https://api.example.com')
print(response.headers.get('allow'))  # 输出支持的HTTP方法

四、高级请求技巧

1. 设置请求头

自定义请求头可以模拟浏览器行为或传递认证信息：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    'Authorization': 'Bearer YOUR_ACCESS_TOKEN',
    'Accept': 'application/json'
}

response = requests.get('https://api.example.com/protected', headers=headers)

2. 文件上传

使用Requests上传文件非常简单：

# 上传单个文件
files = {'file': open('report.xls', 'rb')}
response = requests.post('https://api.example.com/upload', files=files)

# 上传多个文件
files = [
    ('images', ('image1.jpg', open('image1.jpg', 'rb'), 'image/jpeg')),
    ('images', ('image2.png', open('image2.png', 'rb'), 'image/png'))
]
response = requests.post('https://api.example.com/upload', files=files)

3. 流式上传大文件

对于大文件，建议使用流式上传避免内存占用过高：

with open('large_file.zip', 'rb') as f:
    response = requests.post('https://api.example.com/upload', data=f)

五、处理响应

Requests提供了多种方式处理服务器返回的响应内容。

1. 响应内容解析

response = requests.get('https://api.example.com/data')

# 获取文本内容（自动解码）
print(response.text)

# 获取二进制内容（如图片、文件）
with open('image.jpg', 'wb') as f:
    f.write(response.content)

# 解析JSON响应
data = response.json()
print(data['key'])

# 获取响应头信息
print(response.headers['Content-Type'])
print(response.headers.get('Content-Length'))

2. 状态码检查

HTTP状态码表示请求的处理结果：

if response.status_code == 200:
    # 请求成功
    pass
elif response.status_code == 404:
    # 资源未找到
    pass
elif response.status_code == 500:
    # 服务器内部错误
    pass

Requests还提供了raise_for_status()方法，当状态码不是200时会抛出异常：

try:
    response = requests.get('https://api.example.com/data')
    response.raise_for_status()  # 如果状态码不是200，抛出HTTPError异常
except requests.exceptions.HTTPError as err:
    print(f"HTTP错误: {err}")

六、会话管理和Cookie持久化

当需要跨请求保持会话状态（如登录状态）时，可以使用Session对象：

# 创建会话对象
with requests.Session() as session:
    # 登录请求，保存Cookie到会话
    login_data = {'username': 'admin', 'password': 'secret'}
    session.post('https://api.example.com/login', data=login_data)
    
    # 后续请求自动携带Cookie
    response = session.get('https://api.example.com/dashboard')
    print(response.text)
    
    # 在会话中保持自定义头信息
    session.headers.update({'X-Custom-Header': 'value'})
    response = session.get('https://api.example.com/profile')

使用Session对象的主要优势：

  • 自动Cookie持久化：登录后Cookie在所有请求中自动携带
  • 连接池重用：提高性能，减少建立新连接的开销
  • 统一配置：可为所有请求设置公共头信息或认证

七、异常处理

网络请求可能因各种原因失败，健壮的程序需要妥善处理异常：

try:
    # 设置超时时间为3秒
    response = requests.get('https://api.example.com/data', timeout=3)
    response.raise_for_status()
    
except requests.exceptions.Timeout:
    print("请求超时，请检查网络连接或稍后重试")
    
except requests.exceptions.HTTPError as err:
    print(f"HTTP错误: {err}")
    
except requests.exceptions.ConnectionError:
    print("网络连接错误，无法建立连接")
    
except requests.exceptions.RequestException as e:
    print(f"请求发生未知错误: {e}")

关键异常类型：

  • Timeout：请求超时
  • ConnectionError：网络连接问题
  • HTTPError：HTTP状态码错误（非200）
  • RequestException：所有requests异常的基类

最佳实践：始终设置合理的timeout值（如3-5秒），避免程序无响应。

八、实际应用场景

Requests库在多种实际场景中发挥重要作用：

1. 网页数据抓取

response = requests.get('https://news.example.com/latest')
# 结合BeautifulSoup等库解析HTML

2. RESTful API调用

response = requests.get('https://api.weather.com/forecast', params={
    'location': 'Beijing',
    'apikey': 'YOUR_API_KEY'
})
weather_data = response.json()

3. 接口自动化测试

# 测试用户创建流程
def test_user_creation():
    data = {'name': 'test_user', 'email': 'test@example.com'}
    response = requests.post('https://api.example.com/users', json=data)
    assert response.status_code == 201
    user_id = response.json()['id']
    
    # 验证用户已创建
    response = requests.get(f'https://api.example.com/users/{user_id}')
    assert response.status_code == 200

4. 服务监控

# 定期检查网站可用性
def check_service_health():
    try:
        response = requests.get('https://example.com/health', timeout=5)
        return response.status_code == 200
    except:
        return False

总结

Requests库以其简洁优雅的API设计，成为Python网络编程不可或缺的工具。通过本文的学习，你应该已经掌握了：

  1. Requests库的基本安装和配置 ✅
  2. 各种HTTP请求（GET、POST等）的发送方法 ✅
  3. 请求参数、头部和文件的高级处理技巧 ✅
  4. 响应内容的解析和处理 ✅
  5. 会话管理和Cookie持久化 ✅
  6. 异常处理和超时配置 ✅
  7. 实际应用场景的实现 ✅
AutoGen入门到精通：解锁大模型的协作潜能
大模型大数据攻城狮的专栏
07-23 301
和。
Python开发：从入门到精通
YunWisdom
07-16 1097
用 Python 以“道”驭“术”，将编程思想与实践应用相结合，引导读者不仅掌握Python语言，更能建立科学的编程世界观，最终达到知行合一的境界。
Python开发FastAPI从入门到精通
YunWisdom
01-24 4224
想用Python写API快到飞起？FastAPI就是你的“代码瑞士军刀”！这本书不讲玄学，只教真功夫——从零搭建高性能API，到微服务、分布式事务、熔断限流，连异步编程都能玩成魔法！ 小白也能变大神：路由、依赖注入、数据库集成手把手教学；老鸟直呼内行：服务网格、Saga模式、K8s部署实战全覆盖。附赠三个硬核项目：任务管理、在线商城、实时聊天系统，代码跑起来比奶奶织毛衣还丝滑！别说我没提醒你：翻开这本书，你的代码可能会快到自己都追不上！🚀
Python办公自动化攻略：从入门到精通
xiaolinyui的博客
03-25 1898
办公自动化是现代职场的必备技能，它可以帮助我们提高工作效率，节省时间和精力，让我们更专注于创造价值。而Python作为一门简洁、优雅、强大的编程语言，是实现办公自动化的最佳选择。无论是处理Excel、PPT、Word等常用文档，还是发送和接收邮件，或者进行数据分析和爬虫，Python都能轻松搞定。那么，如何用Python进行办公自动化呢？本文将为你介绍Python办公自动化的基本知识和技术，让你从入门到精通，只需这几步！要想用Python做办公自动化，首先你得会用Python。
【网络与爬虫 01】BeautifulSoup从入门到精通：Python网页数据提取完整指南
熵数实验室
06-29 960
本文通过费曼学习法深入解析BeautifulSoup这一Python网页解析神器，从基础概念到实战应用，用通俗易懂的语言和丰富案例帮助读者掌握HTML解析技术。文章涵盖BeautifulSoup的核心原理、解析器选择、元素定位方法、数据提取技巧以及实际项目应用，让你快速成为网页数据提取专家。
Python办公自动化攻略：如何从入门到精通
Pythonxiaoxin6的博客
04-19 813
办公自动化是现代职场的必备技能，它可以帮助我们提高工作效率，节省时间和精力，让我们更专注于创造价值。而Python作为一门简洁、优雅、强大的编程语言，是实现办公自动化的最佳选择。无论是处理Excel、PPT、Word等常用文档，还是发送和接收邮件，或者进行数据分析和爬虫，Python都能轻松搞定。那么，如何用Python进行办公自动化呢？本文将为你介绍Python办公自动化的基本知识和技术，让你从入门到精通，只需这几步！要想用Python做办公自动化，首先你得会用Python。
Linux：从入门到精通
YunWisdom
07-28 1447
欢迎来到 Linux 的世界，一片由代码、思想与自由精神共同构筑的广袤大陆。本书不仅仅是一本指引你穿行于此的技术地图，更是一次深入数字世界核心的探索之旅。在这里，你将学到的不只是 ls、grep 或 docker 等命令，更是其背后化繁为简的设计哲学、聚沙成塔的协作精神，以及掌控自我数字命运的强大力量。我们选择稳定而优雅的 Ubuntu LTS 作为起点，从轻点鼠标的图形界面，到驰骋自-如的命令行，再到构建复杂的网络服务。本书将引领你循序渐进，将理论与实践紧密结合，让你在动手操作中领悟精髓。
chatgpt赋能python：Python抓取数据：从入门到精通
b45e1933f46的博客
06-20 163
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
chatgpt赋能python：Python词汇大全：从入门到精通
lvsetongdao123的博客
06-28 79
本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲下图是AI职场汇报智能办公文案写作效率提升教程中用到的ai工具。
chatgpt赋能python：Python怎样打LN：从入门到精通
b45e1933f46的博客
06-14 200
LN，全称 Link Network，即链接网络，是指在网络空间中，多个站点之间相互链接，形成一个网络。在网络营销中，LN 通常指为了提高某个网站在搜索引擎中的排名，而采取的链接策略或行为。本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公。
Python自学神器：0基础到精通，专家级自学指南揭秘
[Python自学神器：0基础到精通，专家级自学指南揭秘](https://img-blog.csdnimg.cn/278dcefbe09147e190f38dd1b1456d15.png) 参考资源链接：[Python3.5基础课件：282页全览，从入门到安装详解]...
python爬虫入门教程pdf-从零开始学Python网络爬虫 PDF 原书扫描版
weixin_37988176的博客
10-30 3997
给大家带来的一篇关于Python爬虫相关的电子书资源，介绍了关于Python、网络爬虫方面的内容，本书是由机械工业出版社出版，格式为PDF，资源大小143.9 MB，罗攀编写，目前豆瓣、亚马逊、当当、京东等电子书综合评分为：7.9。内容介绍读者评价基于Python 3的图书，代码挺多，这是优点。缺点是，很多地方没有解释清楚，作为一个脑子转得不太灵光的零基础萌新，有很坎坷的感觉。如果是想快速实现功能...
【POI数据下载：24小时精通攻略】：从入门到精通的快速通道
[【POI数据下载：24小时精通攻略】：从入门到精通的快速通道](https://opengraph.githubassets.com/c362c806def56bfa809a6836616718d195eb2eb6d9039a0b35fa7b6854f0432b/woohyeok-choi/poi-clustering) # 摘要 本文...
力扣30 天 Pandas 挑战（3）---数据操作
最新发布
qq_66660756的博客
07-29 984
本文介绍了6道力扣Pandas简单题的解题思路：1) 177.第N高的薪水 - 通过去重排序获取第N高工资；2) 176.第二高薪水 - 类似177题的简化版；3) 184.部门最高薪员工 - 使用分组和合并查询部门最高薪；4) 178.分数排名 - 使用dense_rank()实现连续排名；5) 196.删除重复邮箱 - 通过排序和去重保留最小id记录；6) 1795.产品价格重构 - 使用melt()将宽表转为长表。这些题目涵盖了Pandas数据处理的基本操作，适合初学者练习数据清洗、转换和分析。
Redis 键值对操作详解：Python 实现指南
AI浩
07-29 906
场景推荐操作替代方案添加小数据SETHSET（对象）添加大数据HSET/MSET分批次添加添加临时数据SETEX删除小数据DELETEUNLINK删除大数据UNLINK无批量操作管道 + MSET/UNLINK单独命令添加操作使用set()添加单个键值对使用mset()批量添加多个键值对使用setex()添加带过期时间的键值对删除操作优先使用unlink()进行删除（尤其大型数据）仅在需要立即释放内存时使用delete()批量删除时结合管道提高效率。
【Python】绘制小提琴、箱线和散点的组合图
a11113112的博客
07-25 510
可根据需求修改各图的配色。
Python快速入门(2025版)：常量、变量
iotzgq的博客
07-28 672
本文介绍了Python编程中常量和变量的核心概念。常量是固定不变的值（如数字100、圆周率3.14），用于组成运算表达式；变量则是可变的存储空间（如num1=100），用于临时保存数据以便后续处理。文章通过生活化类比（如购物篮）和编程示例，清晰区分了两者的用途与差异，并强调这是Python编程的重要基础。适合初学者快速理解基本概念，为后续学习打下基础。
Python游戏开发：Pygame全面指南与实战
LiuYiCheng123456的博客
07-29 867
Pygame是一个基于Python的开源游戏开发库，提供多媒体应用开发所需的图形、声音和输入功能。文章首先介绍了Pygame的特点、与其他游戏引擎的对比以及安装方法。然后详细讲解了创建游戏窗口的基础知识，包括初始化、主循环结构和基本绘图功能，并提供了简单绘图板的完整示例代码。最后介绍了图像处理与动画技术，涵盖图像加载、变换和动画实现原理，附有角色动画的实践示例。全文循序渐进地展示了使用Pygame开发2D游戏的核心技术要点。
力扣刷题（第九十八天）
eachin_z的博客
07-25 296
python脚本学习。- 保持更新，努力学习。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值