requests库

最新推荐文章于 2022-01-05 20:38:30 发布
原创 最新推荐文章于 2022-01-05 20:38:30 发布 · 451 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python-requests

一、安装

pip install requests

二、初试

import requests
#使用get方法访问百度
r = requests.get('http://www.baidu.com')
#状态码
r.status_code    
Out[4]: 200
#设置返回内容的编码格式为utf-8
r.encoding='utf-8'  
#显示返回对象的内容
r.text

三、requests库的常用7个方法

方法说明备注
requests.request()构造一个请求，支撑以下各方法 的基础方法
requests.get()获取html页面的主要方法，对应于HTTP的GETGET：请求获取URL位置的资源
requests.head()获取HTML网页头信息的方法，对应于HTTP的HEADHEAD:请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
requests.post()向网页提交POST请求的方法，对应HTTP的POSTPOST:请求向URL位置的资源后附加新的数据
requests.put()向网页提交PUT请求的方法，对应HTTP的PUTPUT:请求向URL位置存储一个资源，覆盖源URL位置的资源
requests.patch()向网页提交局部修改请求，对应HTTP的PATCH请求局部更新URL位置的资源，即改变该处资源的部分内容
requests.delete()向网页提交删除请求，对应HTTP的DELETE请求删除URL位置存储的资源

注意：put和patch方法的区别
假设URL位置上有一组数据userinfo，包括userid、username等20个字段
需求：用户修改了username，其他不变
采用patch，仅向URL提交username的局部更新请求。
采用put，必须将所有20个字段一并提交到URL，未提交字段被删除
patch的最主要用处：节省网络带宽

3.1 requests.get方法

requests.get(url, params=None, **kwargs)
- url:拟获取页面的URL链接；格式 ---url='http://www.baidu.com'
- params:url中的额外参数，字典或字节流格式，可选
- **kwargs:12个访问控制的参数

url格式 http://host[:port][path]
host：合法的Internet主句域名或IP地址
port：端口后，缺省端口为80
path：请求资源的路径

3.1.1 Response对象的属性

Response对象的属性说明备注
r.status_codeHTTP请求的返回状态，200表示连接成功，404表示失败
r.textHTTP响应内容的字符串形式，即url对应的页面内容
r.encoding从HTTP header 中猜测的向相应内容的编码格式
r.apparent_encoding从内容中分析的响应内容编码格式
r.contentHTTP响应内容的二进制形式

3.1.2 异常

Requests库的异常说明备注
r.raise_for_status如果不是200，产生异常requests.HTTPError
requests.ConnectionError网络连接错误，如DNS查询失败、防火墙拒绝连接
requests.HTTPErrorHTTP错误异常
requests.URLRequiredURL缺失异常
requests.TooManyRedirects超过最大重定向次数，产生重定向异常
requests.ConnetcTimeout连接远程服务器超时异常仅指连接到服务器的时间
requests.Timeout请求URL超时，产生超时异常客户端产生连接到收到返回内容的时间

3.1.3常用框架流程

Created with Raphaël 2.1.0 requests.get() r.status_code 是否是200 正常结束 r.text、r.encoding 、r.apparent_encoding、 r.content 异常(404或其他) yes no

3.1.4常用框架

# -*- coding: utf-8 -*-
"""
Created on Thu May 18 20:33:42 2017

@author: suning 1107914055@qq.com
"""

import requests

def getHTMLText(url):
    try:        
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        #return r.text
        return r.headers        
    except:
        return '产生异常'      

if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

3.2 requests.head方法

r = requests.head("http://httpbin.org/get")

print(r.headers)
{'Connection': 'keep-alive', 'Server': 'meinheld/0.6.1', 'Date': 'Fri, 19 May 2017 05:38:50 GMT', 'Content-Type': 'application/json', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true', 'X-Powered-By': 'Flask', 'X-Processed-Time': '0.000622987747192', 'Content-Length': '267', 'Via': '1.1 vegur'}

3.3requests.post方法

post 一个字典

payload = {'key1':'value1','key2':'value2'}
r = requests.post('http://httpbin.org/post',data = payload)
print(r.text)
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.12.4"
  }, 
  "json": null, 
  "origin": "223.167.127.235", 
  "url": "http://httpbin.org/post"
}

post 一个字符串

n [22]: r = requests.post('http://httpbin.org/post',data = 'abxcc')

print(r.text)
{
  "args": {}, 
  "data": "abxcc", 
  "files": {}, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "5", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.12.4"
  }, 
  "json": null, 
  "origin": "223.167.127.235", 
  "url": "http://httpbin.org/post"
}

put一个字典(覆盖原有数据)

r = requests.put('http://httpbin.org/put',data = payload)

print(r.text)
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.12.4"
  }, 
  "json": null, 
  "origin": "223.167.127.235", 
  "url": "http://httpbin.org/put"
}

主要方法

requests.request(method,url,**kwargs)
method：请求方式，对应get/put/post等7种
url：拟获取页面的URL链接
**kwargs：控制访问的参数，共13个
TablesAreCool

访问控制参数1：
params：字典或字节序列，作为参数增加到url中

>>> kv = {'key1':'value1','key2':'value2'}
>>> r = requests.request('GET','http://python123.io/ws',params=kv)
>>> print r.url
'http://python123.io/ws?key1=value1&key2=value2'

访问控制参数2：
data：字典、字节序列或文件对象，作为Request的内容

#data是字典
>>>  payload = {'key1':'value1','key2':'value2'}
>>>  r = requests.post('http://httpbin.org/post',data = payload)
>>>  print(r.url)
http://httpbin.org/post
>>>  print(r.text)
{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "23", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.12.4"
  }, 
  "json": null, 
  "origin": "223.167.127.235", 
  "url": "http://httpbin.org/post"
}
#data是字符串
>>>   r = requests.post('http://httpbin.org/post',data = 'text')

>>>   print(r.url)
'http://httpbin.org/post'

>>>   print(r.text)
{
  "args": {}, 
  "data": "text", 
  "files": {}, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "4", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.12.4"
  }, 
  "json": null, 
  "origin": "223.167.127.235", 
  "url": "http://httpbin.org/post"
}
#data是文件对象
>>>   file = open('D:/file1.txt',mode='r')
>>>   r = requests.post('http://httpbin.org/post',data = file)
>>>   r.url
'http://httpbin.org/post'
>>>   print(r.text)
{
  "args": {}, 
  "data": "iiiiiiiiiiii:", 
  "files": {}, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "13", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.12.4"
  }, 
  "json": null, 
  "origin": "223.167.127.235", 
  "url": "http://httpbin.org/post"
}

访问控制参数3：
json：JSON格式的数据，作为Request的内容

>>>   kv = {'key1': 'value1', 'key2': 'value2'}

>>>   r = requests.request('POST','http://python123.io/ws',json=kv)

>>>   print(r.url)
'http://python123.io/ws'

>>>   print(r.text)
Not Found

访问控制参数4：
headers：字典，HTTP定制头

hd = {'user-agent','Chrome/10'}
r = requests.request('POST','http://python123.io/ws',headers=hd)

访问控制参数5：
cookies：字典或CookerJar，request中的cookie
访问控制参数6：
auth：元组，支持HTTP认证功能
访问控制参数7：
files：字典类型，传输文件

fs = {'file':open('D:/data.xls','rb')}
r = requests.request('POST','http://python123.io/ws',files=fs)

访问控制参数8：
timeout：设定超时时间，单位为秒

r = requests.request('GET','http://www.baidu.com',timeout=10)

访问控制参数9：
proxiex：字典类型，设定访问代理服务器，可以增加登录认证

>>> pxs = {'http':'http://user:pass@10.10.10.1:1234' 'https':'https://10.10.10.1:4321'}
>>> r =requests.request('GET','http://www.baiud.com',proxies=pxs)

访问控制参数10：
allow_redirects：True/False，默认为True，默认为True，重定向开关
访问控制参数11：
stream：True/False，默认为True，获取内容立即下载开关
访问控制参数12：
verify：True/False，默认为True，认证SSL证书开关
访问控制参数13：
cert：本地SSL证书路径

应用

百度的关键词接口：
https:www.baidu.com/s?wd=keyword

kv = {'wd':'keyword'}
r = requests.get('http://www.baidu.com/s',params=kv)

360的关键词接口
http://www.so.com/s?q=keyword

kv = {'q':'keyword'}
r = requests.get('http://www.so.com/s',params=kv)

图片爬取

#!/usr/local/python-2.7.13/bin/virtualenv python
# -*- coding: utf-8 -*-
"""
Created on Thu May 18 20:33:42 2017

@author: suning 1107914055@qq.com
"""

import requests
import os
url = "http://www.qzone.la/DownFile/354878/1448965"
root = "/tmp/pic/"
path = root + url.split('/')[-1] + ".jpg"

try:
    if not os.path.exists(root):
        os.mkdir(root)

    if not os.path.exists(path):
        r = requests.get(url)
        with open(path,'wb') as f:
            f.write(r.content)
            f.close()
            print('文件以保存')

    else:
        print('文件已存在')
except:
    print('爬取失败')
两万字博文教你python爬虫requests库【详解篇】
孤寒者的博客
07-12 63万+
两万字博文教你python爬虫requests库【详解篇】
REQUESTS库文档
11-05
从上述内容中提取的知识点，关于Python的Requests库文档主要包括以下几个方面： 1. Requests库概述： Requests是一个Python第三方库，它被设计用来发送HTTP请求，并且是一个简单易用的HTTP库。作者Kenneth Reitz...
Requests库详解
weixin_33953384的博客
06-09 342
urllib库作为基本库，requests库也是在urllib库基础上发展的 但是urllib在使用上不如requests便利，比如上篇文章在写urllib库的时候，比如代理设置，处理cookie时，没有写，因为感觉比较繁琐，另外在发送post请求的时候，也是比较繁琐。 一言而代之，requests库是python实现的简单易用的HTTP库 在以后做爬虫的时候，建议用requests，不用u...
Requests库
m0_38066258的博客
09-18 650
解析json 保存二进制数据 上传文件 获取cookie 证书验证 代理设置： 认证设置：
Python：requests库安装方式详解
04-21
在本文中，我们将深入探讨如何安装requests库，以及解决在安装过程中可能遇到的问题。 首先，确保你已经在你的计算机上安装了Python。如果你的Python安装没有包含pip（Python的包管理器），你可以通过在Python安装...
精选资源
requests库安装指导超详细版———吐血制作
01-23
requests库安装指导超详细版 Requests 库是 Python 中一个常用的网络请求库，它提供了一个简单的方式来发送 HTTP 请求和获取响应。在此指导中，我们将详细地介绍如何安装 Requests 库，并解决可能遇到的问题。 ...
python中requests库session对象的妙用详解
12-24
requests库的session对象能够帮我们跨请求保持某些参数，也会在同一个session实例发出的所有请求之间保持cookies。 举个栗子，跨请求保持cookies，在命令行上输入下面命令： # 创建一个session对象 s = requests....
requests库的使用
xiaogeldx的博客
01-11 6821
简介 Requests是一个优雅而简单的Python HTTP库，专为人类而构建 Requests是有史以来下载次数最多的Python软件包之一，每天下载量超过400000次 之前的urllib作为Python的标准库，因为历史原因，使用方式可以说是非常的麻烦而复杂的，而且官方文档也十分的简陋，常常需要去查看源码 相反，Requests的使用方式非常的简单，直观，人性化，让程序员的精力完全从库的...
爬虫入门：requests库初步理解
qq_45826084的博客
07-18 612
requests库一、request库下载二、requests库基本使用1、建立一个新py文件2、发送GET、POST请求：2.1 、GET请求：2.2、POST请求：3、cookie：4、cookie：5、处理不信任的SSL证书： ** 一、request库下载 方法一： 按住“win”+“R”打开运行输入“cmd” 输入"pip install requests"等待下载结束即可 安装python第三方库的时候安装不上。并且出现提示说 You should considerupgradin
Python-第三方库requests详解
weixin_33671935的博客
12-16 8561
Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦！ Beautiful is...
requests库入门-1-安装requests库
Anthony_tester的博客
08-20 1万+
最近项目很忙，活很多，也经常加班，八月份的博客文章更新比较少，其中有一个和测试任务并行的工作，编写接口自动化测试框架。我在实现了Python+requests+unittest+HTMLTestRunner这个接口自动化测试框架demo之前，做了一些接口测试方法和工具的调研，主要写了如何一步一步用Postman进行接口测试、常见接口测试工具的调研，例如JMeter,soupUI，loadrunne
requests库的使用（一篇就够了）
热门推荐
m0_43404934的博客
01-05 12万+
urllib库使用繁琐，比如处理网页验证和Cookies时，需要写Opener和Handler来处理。为了更加方便的实现这些操作，就有了更为强大的requests库。 基本用法 请先参考requests库安装一节，确保安装了requests库。下面案例使用requests库中的get( )方法发送了一个get请求。 #导入requests库 import requests #发送一个get请求并得到响应 r = requests.get('https://www.baidu.com') #查看响应对象的类
Python Requests库的快速安装包
其中一个非常著名的库就是Requests库。Requests库是一个用于发送HTTP请求的Python库，它被广泛用于网络请求处理和数据交互，极大地简化了网络编程的复杂性。本文将详细阐述关于Requests库的核心知识点。 首先，需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值