小白学爬虫笔记1---python:requests类及其方法

最新推荐文章于 2025-05-25 12:00:00 发布

paleyellow

最新推荐文章于 2025-05-25 12:00:00 发布

阅读量620

点赞数

分类专栏：笔记 python 文章标签： python爬虫笔记

笔记同时被 2 个专栏收录

24 篇文章

订阅专栏

python

17 篇文章

订阅专栏

本文详细介绍了Python的Requests库，包括其核心方法如GET、POST等，以及如何处理异常和使用各种参数来定制HTTP请求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Requests包

import requests

Requests库的7个主要方法

requests.request()
requests.get()
requests.head()
requests.post()
requests.put()
requests.patch()
requests.delete()

返回异常类

requests.ConnectionError
requests.HTTPError
requests.URLRequired
requests.TooManyRedirects
requests.ConnectTimeout
requests.Timeout

r.raise_for_status

def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status() 如果状态不是200，引发HTTPError异常
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"
if __name__ == "__main__"
    url = "http://www.baidu.com"
    pring(getHTMLText(url))

requrests.requrest

主方法，是其他方法的基础方法

requests.requrest(method,url,**kwargs)

method:请求方式

...(6种）+
r = requests.Options

**kwargs:控制访问的参数，均为可选项

params:字典或字节序列，

kv={'key1': 'value1', 'key2': 'value2'}
r = requests.request('GET', 'http://python123.io/ws', params=kv)
pring(r.url)
#输出http://python123.io/ws?key1=value1&key2=value2

data: 字典、字节序列或文件对象，作为Request的内容

kv = {'key1': 'value1', 'key2': 'value2'}
r = requests.request('POST', 'http://python123.io/ws', data=kv)
body = '主题内容'
r = requests.request('POST','http://python123.io/ws', data=body)

json: JSON格式的数据，作为Requests的内容

kv = {'key1': 'value1'}
r = requests.request('POST', 'http://python123.io/ws' json=kv)

headers: 字典，HTTP定制头

hd = {'user-agent': 'Chrome/10'}
r = requests.request('POST', 'http://python123.io/ws', headers = hd)

cookies: 字典或CookieJar，Request中的cookie
auth: 元组，支持HTTP认证功能
files: 字典类型，传输文件

fs = {'file': open('data.xls', 'rb')}
r = requests.request('POST', 'http://python123.io/ws', files=fs)

timeout: 设定超时时间，秒为单位

r = requests.request('GET', 'http://www.baidu.com', timeout=10)

proxies: 字典类型，设定访问代理服务器，可以增加登录认证

pxs = {'http': 'http://user:pass@10.10.10.1:1234'
    'http': 'https://10.10.10.1:4321' }
r = requests.request('GET', 'http://www.baidu.com', proxies = pxs)

allow_redirects: True/False, 默认为True, 重定向开关
stream： True/False, 默认为True, 获取内容立即下载开关
verify: True/False, 默认为True, 认证SSL证书开关
cert: 本地SSL证书路径

GET

requests.get(url, params=None, **kwargs)

url: 拟获取页面的url链接
params: url中的额外参数，字典或字节流格式，可选
**kwargs: 12个控制访问的参数

POST

requests.post(url, data=None,json=None, **kwargs)

url: 拟更新页面的url链接
data: 字典、字节序列或文件，Request的内容
json: JSON格式的数据，Request的内容
**kwargs: 11个控制访问的参数

PUT

requests.get(url, data=None, **kwargs)

url: 拟更新页面的url链接
data: 字典、字节序列或文件，Request的内容
**kwargs: 12个控制访问的参数

PATCH

requests.patch(url, data=None, **kwargs)

url: 拟更新页面的url链接
data: 字典、字节序列或文件，Request的内容
**kwargs: 12个控制访问的参数

DELETE

requests.delete(url, **kwargs)

url: 拟删除页面的url链接
**kwargs: 13个控制访问的参数

参考：https://www.bilibili.com/video/av22669369