Requests库常用方法及参数介绍

爬虫【8】request.get()参数详解 爬虫【8】request.get()参数详解 爬虫回顾: 爬虫【1】打开网站,获取信息 爬虫【2】重构UserAgent 爬虫【3】URL地址编码 爬虫【4】爬取百度贴吧并生成静态页面 爬虫【5】爬虫猫眼电影100榜单并保存到csv 爬虫【6】链家二手房信息和图片并保存到本地 爬虫【7】链家二手房信息和图片并保存到本地 爬虫【8】request.get()参数详解 查询参数-params ... 阅读详情

Requests 库中定义了七个常用的请求方法,这些方法各自有着不同的作用,在这些请求方法中 requests.get() 与 requests.post() 方法最为常用。请求方法如下所示:

方法说明
requests.request()构造一个请求对象,该方法是实现以下各个方法的基础。
requests.get()获取HTML网页的主要方法,对应于 HTTP 的 GET 方法。
requests.head()获取HTML网页头信息的方法,对应于 HTTP 的 HEAD 方法。
requests.post()获取 HTML 网页提交 POST请求方法,对应于 HTTP 的 POST。
requests.put()获取HTML网页提交PUT请求方法,对应于 HTTP 的 PUT。
requests.patch()获取HTML网页提交局部修改请求,对应于 HTTP 的 PATCH。
requests.delete()获取HTML页面提交删除请求,对应于 HTTP 的 DELETE。

上述方法都提供了相同的参数,其中某些参数已经使用过,比如headers和params,前者用来构造请求头,后者用来构建查询字符串。这些参数对于编写爬虫程序有着至关重要的作用。本节对其他常用参数做重点介绍。

SSL认证-verify参数

SSL 证书是数字证书的一种,类似于驾驶证、护照和营业执照。因为配置在服务器上,也称为 SSL 服务器证书。SSL 证书遵守 SSL 协议,由受信任的数字证书颁发机构 CA(电子认证服务)颁发。 SSL 具有服务器身份验证和数据传输加密功能。

verify参数的作用是检查 SSL 证书认证,参数的默认值为 True,如果设置为 False 则表示不检查 SSL证书,此参数适用于没有经过 CA 机构认证的 HTTPS 类型的网站。其使用格式如下:

  1. response = requests.get(
  2. url=url,
  3. params=params,
  4. headers=headers,
  5. verify=False
  6. )

代理IP-proxies参数

一些网站为了限制爬虫从而设置了很多反爬策略,其中一项就是针对 IP 地址设置的。比如,访问网站超过规定次数导致流量异常,或者某个时间段内频繁地更换浏览器访问,存在上述行为的 IP 极有可能被网站封杀掉。

代理 IP 就是解决上述问题的,它突破了 IP 地址的访问限制,隐藏了本地网络的真实 IP,而使用第三方 IP 代替自己去访问网站。

1) 代理IP池

通过构建代理 IP 池可以让你编写的爬虫程序更加稳定,从 IP 池中随机选择一个 IP 去访问网站,而不使用固定的真实 IP。总之将爬虫程序伪装的越像人,它就越不容易被网站封杀。当然代理 IP 也不是完全不能被察觉,通过端口探测技等术识仍然可以辨别。其实爬虫与反爬虫永远相互斗争的,就看谁的技术更加厉害。

2) proxies参数

Requests 提供了一个代理 IP 参数proxies,该参数的语法结构如下:

**

proxies = {
      '协议类型(http/https)':'协议类型://IP地址:端口号'
    }

下面构建了两个协议版本的代理 IP,示例如下:

**

proxies = {
   'http':'http://IP:端口号',
   'https':'https://IP:端口号'
}
3) 代理IP使用

下面通过简单演示如何使用proxies参数,示例如下:

  1. import requests
  2. ​
  3. url = ‘http://httpbin.org/get’
  4. headers = {
  5. ‘User-Agent’:‘Mozilla/5.0’
  6. }
  7. 网上找的免费代理ip

  8. proxies = {
  9. ‘http’:‘http://191.231.62.142:8000’,
  10. ‘https’:‘https://191.231.62.142:8000’
  11. }
  12. html = requests.get(url,proxies=proxies,headers=headers,timeout=5).text
  13. print(html)

输出结果:

**

{
  "args": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Cache-Control": "max-age=259200",
    "Host": "httpbin.org",
    "User-Agent": "Mozilla/5.0",
    "X-Amzn-Trace-Id": "Root=1-605073b0-4f54db1b2d2cfc0c074a1193"
  },

  # 注意此处显示两个IP,第一个是你自己的真实IP,另外一个是对外展示的IP
  "origin": "121.17.25.194, 191.235.72.144", 
  "url": "http://httpbin.org/get"
}

由于上述示例使用的是免费代理 IP,因此其质量、稳定性较差,可能会随时失效。如果想构建一个稳定的代理 IP 池,就需要花费成本。

4) 付费代理IP

网上有许多提供代理 IP 服务的网 站,比如快代理、代理精灵、齐云代理等。这些网站也提供了相关文档说明,以及 API 接口,爬虫程序通过访问 API 接口,就可以构建自己的代理 IP 池。

付费代理 IP 按照资源类型可划分为:开发代理、私密代理、隧道代理、独享代理,其中最常使用的是开放代理与私密代理。

开放代理: 开放代理是从公网收集的代理服务器,具有 IP 数量大,使用成本低的特点,全年超过 80% 的时间都能有 3000 个以上的代理 IP 可供提取使用。

私密代理: 私密代理是基于云主机构建的高品质代理服务器,为您提供高速、可信赖的网络代理服务。私密代理每天可用 IP 数量超过 20 万个,可用率在 95 %以上,1 次可提取 IP 数量超过 700 个,可以为爬虫业务提供强大的助力。

付费代理的收费标准根据 IP 使用的时间长短,以及 IP 的质量高低,从几元到几百元不等。89 免费代理(http://www.89ip.cn/)是一个专门提供免费代理 IP 的网站,不过想找到一个质量较高的免费代理好比大海捞针。

用户认证-auth参数

Requests 提供了一个auth参数,该参数的支持用户认证功能,也就是适合那些需要验证用户名、密码的网站。auth 的参数形式是一个元组,其格式如下:

**

auth = ('username','password')

其使用示例如下所示:

  1. class xxxSpider(object):
  2. def init(self):
  3. self.url = ‘http://code.tarena.com.cn/AIDCode/aid1906/13Redis/’
  4. 网站使用的用户名,密码

  5. self.auth = (‘c语言中文网’,‘c.biancheng.net’)
  6. ​
  7. def get_headers(self):
  8. headers = {‘User-Agent’:“Mozilla/5.0”}
  9. return headers
  10. ​
  11. def get_html(self,url):
  12. res = requests.get(url,headers=self.get_headers(),auth=self.auth)
  13. html = res.content
  14. return html
  15. …

如果想更多地了解关于 Requests 库的参数,可以参考官方文档:https://requests.readthedocs.io/zh_CN/latest/

这里给大家分享一份Python全套学习资料,包括学习路线、软件、源码、视频、面试题等等,都是我自己学习时整理的,希望可以对正在学习或者想要学习Python的朋友有帮助!

优快云大礼包:全网最全《全套Python学习资料》免费分享🎁

😝有需要的小伙伴,可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

👉优快云大礼包🎁:全网最全《Python学习资料》免费分享(安全链接,放心点击)👈

​

1️⃣零基础入门

① 学习路线

对于从来没有接触过Python的同学,我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
在这里插入图片描述

② 路线对应学习视频

还有很多适合0基础入门的学习视频,有了这些视频,轻轻松松上手Python~在这里插入图片描述

③练习题

每节视频课后,都有对应的练习题哦,可以检验学习成果哈哈!
在这里插入图片描述
因篇幅有限,仅展示部分资料

2️⃣国内外Python书籍、文档

① 文档和书籍资料

在这里插入图片描述

3️⃣Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了!每个都有详细的安装教程,保证你可以安装成功哦!
在这里插入图片描述

②Python实战案例

光学理论是没用的,要学会跟着一起敲代码,动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。100+实战案例源码等你来拿!
在这里插入图片描述

③Python小游戏源码

如果觉得上面的实战案例有点枯燥,可以试试自己用Python编写小游戏,让你的学习过程中增添一点趣味!
在这里插入图片描述

4️⃣Python面试题

我们学会了Python之后,有了技能就可以出去找工作啦!下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
在这里插入图片描述
在这里插入图片描述

5️⃣Python兼职渠道

而且学会Python以后,还可以在各大兼职平台接单赚钱,各种兼职渠道+兼职注意事项+如何和客户沟通,我都整理成文档了。
在这里插入图片描述
在这里插入图片描述
上述所有资料 ⚡️ ,朋友们如果有需要 📦《全套Python学习资料》的,可以扫描下方二维码免费领取 🆓
😝有需要的小伙伴,可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

👉优快云大礼包🎁:全网最全《Python学习资料》免费分享(安全链接,放心点击)👈

​

Python之 requests的post方法 Python之 requests的post方法 post方法与get方法相比多了个请求体,post请求可携带的数据的空间比get请求多。 如果没有安装requests可以在Windows的cmd下面使用 pip命令安装该库 pip install requests 下面列出get请求的部分参数 1. url(请求的url地址,必需) 形式:字符串 意义:作为请求的url地址 使用方法:参照... 阅读详情

相关推荐

一文掌握requests模块

一文掌握requests的使用,爬虫、接口测试、发送各种请求。

qq_38120851的博客 1491

requests概述参数以及用法

requests模块是一个网络请求模块,可以帮助我们模拟成客户端去请求服务器的数据。我们今天就是主要针对这个模块进行学习。还有其他库吗?回答也是肯定的,例如 urllib , urllib2 等模块。但是目前来说 Requests 模块是最流行的。而且也是做好用的模块。

weixin_45674243的博客 3471

Python Requests库:请求参数的动态生成方法

在Web开发和数据采集过程中,我们经常需要与各种API进行交互。不同的API可能要求不同的请求参数,而且这些参数可能会根据不同的条件动态变化。Python的Requests库是一个强大且易用的HTTP库,它使得发送HTTP请求变得非常简单。本文章的目的就是详细介绍如何使用Requests库动态生成请求参数,涵盖了常见的请求参数类型,如查询字符串参数、表单数据、JSON数据等。通过本文的学习,读者将能够掌握在不同场景下动态生成请求参数的方法,提高与API交互的效率和灵活性。

AI Python 编程之道的博客 1153

python爬虫requests模块

读书使人充实,讨论使人机智,笔记使人准确…。凡有所学,皆成性格。 ———— (英国)培根 request详细笔记点这里 requests模块官网:Requests: 让 HTTP 服务人类 — Requests 2.18.1 文档 (python-requests.org) 简单的代码实现 #导入requests模块 import requests #目标url url='https://www.baidu.com' #调用get方法,向目标url发送请求 response=requests.get(u.

はんみん的博客 3852

UE4虚拟现实实习总结---蓝图中的常用交互事件|人物行走|物体移动|动态触发|材质改变

这周是ue4实习周,老师给我们的任务就是基于中学物理和化学实验的虚拟实验室,要有交互事件,后期可以链接vr手柄进行操作。 但是实习开始老师影都没了,全靠自己学习。感觉自己学习了不少东西,这里就来总结一下!顺便感叹一下,ue4好玩又强大! 以下主要介绍蓝图中的几种交互事件1.新建游戏角色并且进行角色行走旋转,2.如何控制物体移动旋转,3.如何控制物体材质动态变化 大家可以举一反三,作出更好的作品 1.新建游戏角色并且进行角色行走旋转 步骤 在刚刚新建的文件夹中鼠标右击新建蓝图类,然后分别创建以下:chara

weixin_43902063的博客 6125

tiny4412用 usb 连接计算机显示sec s5pc210 test b/d 解决方法

当我用USB线连接tiny4412的microUSB端口的时候,出现了驱动没有正常安装,显示“sec s5pc210 test b/d” 出现这种问题的原因有: 1、没有安装到正确的USB驱动; 2、SD卡没有插好 我出现问题的原因属于第二种,插入SD卡后,上电后,LCD屏亮了,但没有任何显示   解决方法是:     更换一张SD卡,重新插入开发板卡槽,上电开

karaskass的博客 3233

Python爬虫——Requests库常用方法及参数介绍

Requests 库中定义了七个常用的请求方法,这些方法各自有着不同的作用,在这些请求方法中 requests.get() 与 requests.post() 方法最为常用。

Itmastergo的博客 2719

海康威视摄像头CVE-2017-7921漏洞复现:从零到一的实战指南(含解密工具下载)

本文详细解析了海康威视摄像头CVE-2017-7921漏洞的技术原理与复现方法,提供从环境搭建到实战利用的完整指南。通过认证绕过漏洞,攻击者可获取敏感信息并执行高权限操作,文章还包含解密工具下载与防御建议,助力安全研究人员深入理解物联网设备安全风险。

weixin_29325515的博客 817

requests库常用到的7个主要方法及控制访问参数

---------requests库常用的7个主要方法------------ requests库的7个主要方法: requests.request():构造一个请求,支撑一下各方法的基础方法 requests.get():获取HTML网页的主要方法,对应HTTP的GET requests.head():获取HTML网页头的信息方法,对应HTTP的HEAD requests.post():向H...

商务合作 | 面试培训 | 职场规划 ==>主页扫码 1万+

别再只抄代码了!深入理解MQ2传感器数据手册,搞定ppm换算公式

本文深入解析MQ2烟雾传感器的工作原理与ppm换算公式,从数据手册解读到数学建模,提供详细的校准与优化方法。通过实际案例和代码示例,帮助开发者准确测量气体浓度,解决常见问题,提升传感器应用的可靠性。

weixin_42713608的博客 506

手把手教你为ArduPilot添加自定义飞行模式:以自动巡检航线为例

本文详细介绍了如何为开源飞控ArduPilot添加自定义飞行模式,并以自动巡检航线为例,提供了从状态机设计、代码实现到地面站集成的完整开发指南。通过七步法手把手教学,帮助开发者深入理解飞控核心逻辑,实现无人机自主执行复杂巡检任务,满足行业应用定制需求。

weixin_29306875的博客 139

【Python进阶】requests库有哪些常用的参数和方法?一篇文章带你详细了解!!!附带源码

requests库中定义了多个常用的请求方法,其中和是最常用的方法。这些方法对应于HTTP协议中的GET和POST方法。除了GET和POST方法,requests库还支持其他HTTP方法,如PUT、DELETE、HEAD、OPTIONS等。

2401_85855266的博客 1256

智能车浅谈 电磁组——环岛处理

第十七届全国大学生智能车电磁四轮部分经验分享

qq_41954556的博客 1万+

python导入requests库_python中requests库get方法带参数请求

起因是想爬五等分的花嫁的漫画。这是其中的一个坑先上代码data={‘cid‘:567464,‘page‘:1,‘key‘:‘‘,‘language‘:1,‘gtk‘:6,‘_cid‘:567464,‘_mid‘:34949,‘_dt‘:‘2019-05-03 13:03:08‘,‘_sign‘:‘e74c8c52618a64a454dd7f12aff3cc1c‘}def getFun(url,da...

weixin_39989862的博客 132

在MATLAB和Simulink中设计并仿真一个电动汽车整车动力学模型与控制系统

电动汽车(EV, Electric Vehicle)的动力学建模与控制仿真在车辆开发过程中起着至关重要的作用。通过Simulink进行整车动力学模型的构建和控制策略的验证,可以有效评估车辆性能、优化系统设计并降低开发成本。以下是如何在MATLAB和Simulink中设计并仿真一个电动汽车整车动力学模型与控制系统的详细步骤。通过上述步骤,我们成功设计并实现了基于Simulink的电动汽车整车动力学模型与控制仿真。该系统能够模拟复杂的整车动力学行为,验证控制策略的有效性,并通过优化设计提高车辆的性能和可靠性。

xiaoheshang_123的博客 551

[网络安全自学篇] 二十五.Web安全学习路线及木马、病毒和防御初探

这是作者的系列网络安全自学教程,主要是关于网安工具和实践操作的在线笔记,特分享出来与博友共勉,希望您们喜欢,一起进步。前文分享了分享机器学习在安全领域的应用,并复现一个基于机器学习(逻辑回归)的恶意请求识别。这篇文章简单叙述了Web安全学习路线,并实现了最简单的木马和病毒代码,希望对读者有所帮助。

杨秀璋的专栏 3万+

requests库post方法怎么传params类型的参数

• params参数用于将数据作为查询字符串附加到请求的 URL 中。• 虽然主要用于 GET 请求,但也可以与 POST 请求一起使用。• 对于大量数据或敏感信息,建议使用data或json方法。•requests库会自动处理参数的编码,简化了请求的构建过程。希望这些信息能帮助你更好地理解和使用requests库中的params参数!

seanyang_的博客 957

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Requests库的七个方法以及13个参数

"""Requests库的七个主要方法: requests.request():构造一个请求,支撑一下各方法的基础方法 requests.get():获取HTML网页的主要方法,对应HTTP的GET requests.head():获取HTML网页头的信息方法,对应HTTP的HEAD requests.post():向HTML网页提交POST请求方法,对应HTTP的POST reques

Dis_k1032298871的博客 5855

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

接口自动化_requests相关介绍和操作(requests库构造请求参数的方法)

接口自动化_requests相关介绍和操作(requests库构造请求参数的方法) 1、在python中,可以构造HTTP请求的库 2、requests库介绍 3、requests库特点 4、requests库安装 5、requests库帮助文档网址:http://cn.python-requests.org/zh_CN/latest/6、requests库构造请求参数的方法 7、requests库如何构建请求参数,总结如图所示:...

lkr 519

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

爬虫(2)—— Requests库入门(二):Requests库的七个方法以及13个参数

Requests库主要方法解析 爬虫重点掌握get和header方法,其他需要了解熟悉 主要方法 HTTP协议与Requests库方法间的联系: request.request(method,url, **kwargs): method:请求方式,对于get/post/put等7种 url:获取页面的url链接 **kwargs:控制访问的参数,共13g个 method请求方式: r = r...

weixin_41897680的博客 1189

python Requests库7种主要方法及13个控制参数(实例实验)

其实headers远不止这些,用F12调试一看就知道了。

xzzteach的博客 1098

requests库,方法可以加的参数

import requests 1.url 网址 2.headers 请求头 3.cookies cookie值 4.params 参数 5.data 请求体 6.json 请求体 7.代理proxies proxies_dict ={ } res =requests.get(...

Programmer_huangtao的博客 641

requests库中json参数与data参数使用方法的深入解析

在Python的requests库中,data和json参数是用于发送HTTP请求时传递数据的两种方式,它们各自适用于不同的场景和需求。

lvobooen的博客 435

python dll 调用 方法未找到_Python: Requests库的调用方法以及控制访问的参数

文章背景:网络爬虫已经成为自动获取互联网数据的主要方式。Requests模块是Python的第三方模块,能够满足日常的网络请求,而且简单好用。因此,下面对Requests库的使用进行介绍。1 Request库的7个主要方法 对于网络爬虫而言,主要用到的是get()和head()这两个方法。2 HTTP协议对资源的操作3 Request库的7个方法解析3.1 request...

weixin_39573287的博客 141

python get方法请求参数_python中requests库get方法带参数请求

起因是想爬五等分的花嫁的漫画。这是其中的一个坑先上代码data={‘cid‘:567464,‘page‘:1,‘key‘:‘‘,‘language‘:1,‘gtk‘:6,‘_cid‘:567464,‘_mid‘:34949,‘_dt‘:‘2019-05-03 13:03:08‘,‘_sign‘:‘e74c8c52618a64a454dd7f12aff3cc1c‘}defgetFun(url,dat...

weixin_39719042的博客 1913
上一篇: Python爬虫:抓取多级页面数据
下一篇: Python lxml库的安装和使用
Llama-Turbo
博客等级 码龄4年 9902粉丝 2026原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值