python网络爬虫与信息提取之requests库

人生无根蒂，飘如陌上尘 人生无根蒂，飘如陌上尘 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 200+累计阅读 227平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄9年
关注
原创 最新推荐文章于 2026-03-16 01:12:36 发布 227 阅读 AI 写同款· GEO 优化 ›
【python】网络爬虫与信息提取--requests库 当一个软件想获得数据，那么我们只有把网站当成api就可以requests库:自动爬取HTML页面，自动网络请求提交robots协议：网络爬虫排除标准（网络爬虫的规则）beautiful soup库：解析HTML页面。 阅读详情

requests库的基本应用

在这里插入图片描述

requests库的get方法

requessts库实际上只有一个requests方法，其他的都是调用这个方法形成的
对于r.encoding属性而言，它是从http的header部分中的charset字段中得到的，如果header中没有这个字段，则返回的值为ISO-8859-1，而这样的编码并不能解析中文。所以我们根据apparent-encoding来解析更为合适
在这里插入图片描述
我试着去爬了一下网易云首页的text，不知道为什么，代码全在一行上显示了出来
在这里插入图片描述

爬取网页的通用代码框架

requests库共有六种异常，要做好应对。
response对象返回了页面的全部内容
它有着一个方法：r.raise_for_status():它能够判断返回的response的状态是不是200，如果不是，就会产生异常
在这里插入图片描述
我将它们写在同一个文件里可以正常运行，我想到一个比较有意思的，能不能把函数写在另一个文件里，然后调用它，事实证明是可以的。在这里插入图片描述

HTTP协议及requests库方法

HTTP协议：超文本传输协议
URL是通过HTTP协议存取资源的Internet路径。PATCH节省网络带宽。
HTTP协议有一些方法，它的功能与requests库的方法近似相同：
GET和HEADd都是获取URL位置的资源，不同的是：GET是获取全部信息，HEAD是获取头部信息
POST和PUT还有PATCH都是往URL位置的资源添加资源。其中PUT是全覆盖，POST是添加新数据，PATCH是部分更新
DELETE是删除
在这里插入图片描述

requests库主要方法解析

params作为参数添加到url中，是字典或字节序列
json作为requests的内容
headers是头字段，可以用来模拟浏览器向服务器发起访问
cookies可以用来解析字典
files字典类型，向服务器传输文件
timeout设定超时时间
proxies：设定代理服务器，防止对爬虫的逆追踪

对于requests库而言

我们经常使用的是get和head方法。另外要使用try except来防止异常。

标签
#requests库 #爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
小白入门python网络爬虫和信息提取（一）——requests库入门 小白入门python网络爬虫和信息提取（一）——requests库入门 第一次写优快云的博客，正好这两天自己的兴趣突然产生了，自己摸索着学了一点网络爬虫的东西，写篇博客试一下。主要是课上学的都是C语言，C++面向对象，所以课下就想自己学学python，觉得蛮好玩的，练习网络爬虫的时候顺便也当学习一下python的基础语法吧。 ... 阅读详情

相关推荐

Python网络爬虫与信息提取-1.requests库入门

Requests库入门 安装：在命令提示符中输入 pip install requests 然后回车等待 #IDLE 爬取百度界面 >>> import requests >>> r = requests.get("http://www.baidu.com") >>> r.status_code 200 >>> r.encoding = 'utf-8' >>> r.text 七个主要方法： r = req.

Sunflower_ding的博客 385

python requests最全使用指南

Requests 是一个 Python 的一个第三方库，通过发送 HTTP 请求获取响应数据，一般应用于编写网络爬虫和接口测试等。相比 urllib 库，它语法简单，更容易上手。Requests: 让 HTTP 服务人类在使用 requests 模拟发送网络请求之前，先来简单学习一下HTTP和常见的请求方式。HTTP（HyperText Transfer Protocol ，超文本传输协议）是一个简单的请求/响应协议。即一个客户端与服务器建立连接后，向服务器发送一个请求;

2301_80239908的博客 8503

Python网络爬虫与信息提取（1）—— 基于pycharm的requests库学习

前言 一直有这个想法，看到csdn上有人说想学就快速入手，所以尝试的学习学习，记录下。 学习目标 掌握定向网络数据的爬取和网页解析的基本能力 总体内容 Requests：自动爬取HTML页面，自动网络请求提交 robots.txt：网络爬虫排除标准 Beautiful Soup：解析HTML页面 Projects：实战项目 Re：正则表达式提取关键信息 Scrapy：专业网络爬虫的框架 解析提...

qq_37668436的博客 799

Requests库的get()方法

requests.get(url,Params,**kwars) 针对上一次的代码进行分析： import requests r=requests.get('http://www.baidu.com') print(r.status_code) r.encoding='utf-8' print(r.text) status_code：状态信息，返回200代表正常，404表示失败； text：H...

欢迎来到关关雎鸠儿的博客 2495

Python requests及aiohttp速度对比代码实例

环境：centos7 python3.6 测试网址：www.bai.com 测试方式：抓取百度100次 结果： aio: 10.702147483825684s requests: 12.404678583145142s 异步框架的速度还是有显著提升的。 下面贡献代码： import aiohttp import time import requests import asyncio def test_requests(): 测试requessts请求百度100次时间 start = time.time() url = https://www.baidu.c

东方财富网 数据访问接口及字段说明

东方财富网 数据访问接口和字段说明

雨中山草 2万+

Python-第三方库requests详解

Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦！ Beautiful is...

weixin_33671935的博客 8598

易灵思FPGA-软件Efinity和Modelsim联仿设置

文章目录前言一、modelsim破解过程二、使用步骤1.引入库2.读入数据总结欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智

qq_35221855的博客 5368

[331]python之requests的基本使用

Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，Requests它会比urllib更加方便，可以节约我们大量的工作。

周小董 8万+

【机械视觉】C#+VisionPro实战：位深图(CogImage8Grey)与Bitmap互转技巧及工业检测应用

本文详细介绍了在工业检测中如何使用C#和VisionPro实现位深图（CogImage8Grey）与Bitmap的高效互转技巧。通过实战代码示例和工业应用案例，帮助开发者解决图像处理中的常见问题，提升检测精度和系统性能，适用于半导体、汽车零部件等高精度检测场景。

weixin_29250573的博客 186

Starlink卫星动力学系统仿真建模前传1-时空系统介绍

对于在轨道上运动的航天器由于速度接近第一宇宙速度，为了获取准确的位置信息对时间的精度要求极高，为了准确描述航天器的运动规律，本节对卫星仿真建模中用到的各种时间系统进行介绍。卫星轨道平面为坐标平面，坐标原点位于卫星系统质心，轴由卫星系统质心指向地心（当地垂线），轴在轨道面内垂直于轴并指向卫星的前进方向，轴同、轴构成右手系，指向轨道面负法线方向。不同坐标系下的建立的运动形式与复杂程度不同，会直接影响运动方程的求解繁简程度，因此，选取适当的坐标系具有重要的意义。定义星体坐标系，该坐标系简记为系，与卫星本体固连。

xspace的博客 1439

Python网络爬虫与信息提取——requests库

这是北京理工大学的课程，附上视频link：https://www.bilibili.com/video/av9784617/?p=1 Requests库 Requests库主要方法 Requests库的7个主要方法 方法 说明 requests.request() 构造一个请求，支撑以下各方法的基础方法 requests.get() 获取HTML网页的主要...

Daisy_fight的博客 685

机器视觉最全面试题总结

空洞卷积(Atrous Convolution)也叫做膨胀卷积、扩张卷积，最初的提出是为了解决图像分割在用下采样（池化、卷积）增加感受野时带来的特征图缩小，后再上采样回去时造成的精度上的损失。空洞卷积通过引入了一个扩张率的超参数，该参数定义了卷积核处理数据时各值的间距。可以在增加感受野的同时保持特征图的尺寸不变,从而代替下采样和上采样a. 是普通的卷积过程(dilation rate = 1),卷积后的感受野为3b. 是dilation rate = 2的空洞卷积,卷积后的感受野为5。

@bangbang的博客 9213

Python网络爬虫与信息提取—requests库入门

requests的学习笔记 requests库自动爬取HTML页面，自动网络请求提交 requests库的安装 requests库是Python的第三方库，是目前公认的，爬取网页最好的第三方库。关于requests库的更多信息，可以在www.python-requests.org网站上获得。 安装方法：用管理员权限启动command控制台，输入 pip install requests ，按下回车； 验证方法： 启动IDLE 功能快捷键 撤销：Ctrl/Command + Z 重做：Ctrl/Comma

ShadowCdn的博客 1232

oscp备考，oscp系列——Djinn3靶场：ssti漏洞，pkexec提权

oscp备考，oscp系列——Djinn3靶场：ssti漏洞，pkexec提权难度简单偏上对于低权限shell获取涉及：ssti漏洞对于提权：pkexec提权。

2202_75361164的博客 635

RK3588开发笔记-Hailo AI模块调试

本文详细介绍了在RK3588开发板上调试HailoAI模块的全过程。首先概述了RK3588处理器的强大性能（4核A76+4核A55，6TOPS算力）和Hailo-8 AI加速模块的特点，重点阐述了通过PCIe接口连接两者的硬件方案。调试步骤包括：确认内核PCIe配置、编译Hailo驱动、下载固件文件并部署到指定目录，最后通过运行resnet模型验证模块性能（实测FPS达2456）。文中提供了完整的软件包下载地址和GitHub源码链接，为开发者实现类似AI加速方案提供了实用参考。

flypig has a dream！ 965

嵩天《Python网络爬虫与信息提取》实例1：Requests库网络爬虫实战5个实例

这部分涉及五个简单的网页获取实例：京东商品页面的爬取/亚马逊商品页面的提取/百度搜索关键词提交/网络图片的爬取与存储/手机号码归属地自动查询。

weixin_43095088的博客 2985

月薪2万+的网络工程师，到底藏着哪些“绝活”？

在IT圈，网络工程师是个既神秘又硬核的职业。月薪2万+的网工，早已不是只会拉网线、改IP的“IT民工”，而是掌握了一身“绝技”的技术大牛。他们能让企业网络如丝般顺滑，面对宕机临危不乱，还能用自动化脚本批量搞定上百台设备。想知道这些高薪网工的秘密武器是什么？今天，我就以一个老网工的视角，结合自己和同行们的实战经验，扒一扒那些月薪2万+的网络工程师都身怀哪些绝技。如果你也想挤进高薪行列，不妨参考参考！

网络技术联盟站 362

Python网络爬虫与信息提取笔记03-Requests库网络爬虫实战（5个实例）

Python网络爬虫与信息提取笔记01-Requests库入门 Python网络爬虫与信息提取笔记02-网络爬虫之“盗亦有道” 实例1：京东商品页面的爬取 1、首先我们打开京东商城页面，选择一个商品，找到它的url连接，如：https://item.jd.com/100009177374.html 2、下面我们打开IDLE-->New File，并导入Requests库，...

MARS_098的博客 2680

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android：LinePhone3.2.7(最新版本)，官网地址：http://www.linphone.org/

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表，创建专业级图表以简化复杂的信息。

requests入门以及requests库实例和with,os的解释（Python网络爬虫和信息提取）

总结： with 是 Python 中用于管理资源（如文件、数据库连接、锁等）的语法糖，能够确保资源在使用后被正确释放，同时简化代码并提高可读性。requests.put(url,data=None,**kwargs) data:字典，字节序列或文件 **kwargs：12个。requests.post(url,data=None,json=None,**kwargs) **kwargs：11个。requests.delete(url,**kwargs) **kwargs：13个。

2402_84235386的博客 1662

NTscan扫描工具

ntscan是一个扫描器，可以扫描没有密码和弱密码的共享，先到配置文件中填写猜测的用户名和密码，扫描过程中右侧出现的是扫描日志。

Python网络爬虫与信息提取笔记01-Requests库入门

既然选择学习网络爬虫，我们一定要知道，Requests是一个能够自动爬取HTML页面、自动网络请求提交的优秀的第三方库，入门第一步就是安装这个第三方库，我们默认此时你已经安装好了PythonIDLE，本人学习时安装的Python环境为Python3.7.4： 第一步：管理员权限打开cmd，输入“pip install requests”，即可下载安装（我的提示已经安装过了，如果你在此之前还没有...

MARS_098的博客 832

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面，电脑运行连游戏界面都一样大小，很怀旧，很真实，（英文版）强烈推荐，很小的文件，很难才找到的。

Python网络爬虫与信息提取（二）：网络爬虫之规则(Requests库 & Robots规则)

Requests库的7个主要方法 Requests库的get()方法 获得一个网页最简单的一行代码就是 r = requests.get(url) Requests库支持6种常用的连接异常 raise_for_status() 方法 response这样一个对象返回了所有的网页内容，它也提供了一个方法：raise_for_status(),这个方法是专门与异常打...

hxxjxw的博客 1646

Python网络爬虫与信息提取之单元一requests库入门代码实战

@TOCPython网络爬虫与信息提取之单元一requests库入门代码实战 爬取网页的通用代码框架 import requests def getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() #如果状态不是200，引发HTTPError异常 r.encoding = r.apparent_encoding return r.text

zzw1208的博客 616

Python网络爬虫与信息提取【Requests库的安装与用法】

1.Requests库的安装 Win平台："windows+R"输入cmd，在命令行中输入 pip install requests安装完成后可以通过import requests进行检测,不报错，证明安装成功 2.Requests库的7个主要方法 方法 说明 requests.request() 构造一个请求,支撑以下各方法的基础方法 requests.

xiaofeiyu321的博客 672

Python网络爬虫与信息提取MOOC学习——Requests库网络爬虫实战

商品页面爬取（通过改变HTTP头部信息） 搜索关键词提交 网络图片的爬取和储存 IP地址归属地自动查询

LT优快云7的博客 550

Python网络爬虫与信息提取MOOC学习——Requests库入门

requests库的安装，主要方法，爬取网页通用代码框架

LT优快云7的博客 452
上一篇： 用boostrap来写导航条
下一篇： Robots协议
点赞 0
评论 0
书签 书签 0
人生无根蒂，飘如陌上尘
人生无根蒂，飘如陌上尘
博客等级 码龄9年 224粉丝 228原创
+ 关注
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值