python爬虫requests模块基础

最新推荐文章于 2025-07-19 17:50:33 发布
原创 最新推荐文章于 2025-07-19 17:50:33 发布 · 329 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #post

本文介绍了Python爬虫中requests模块的基础使用，包括GET和POST请求的实现。在GET请求中，讨论了urllib爬取贴吧的三种方法：直接写、函数def形式和类方法。在POST请求部分，讲解了如何处理data数据为bytes类型以避免错误，以及解决乱码问题的两种方法。最后给出了完整requests方式爬取的代码示例。

get请求

在这里插入图片描述

urllib爬取贴吧

在这里插入图片描述

方法一：直接写

import urllib.request
import urllib.parse
# 贴吧主题
name =input('请输入要爬取的贴吧名：')
begin =int(input('请输入要爬取的起始页：'))
end =int(input('请输入要爬取的终止页：'))
headers ={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
# 对name处理 转换
kw ={'kw':name}
# 两种都可
# result =urllib.parse.quote(kw)
result = urllib.parse.urlencode(kw)

# 页数循环:range前闭后开，要+1
for i in range(begin,end+1):
    pn = (i - 1) * 50
    # print(pn)
# 拼接url
    base_url ='https://tieba.baidu.com/f?'
    url = base_url + result + "&pn=" + str(pn)
    print(url)

在这里插入图片描述

import urllib.request
import urllib.parse
# 贴吧主题
name =input('请输入要爬取的贴吧名：')
begin =int(input('请输入要爬取的起始页：'))
end =int(input('请输入要爬取的终止页：'))
headers ={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'
}
# 对name处理 转换
kw ={'kw':name}
# 两种都可
# result =urllib.parse.quote(kw)
result = urllib.parse.urlencode(kw)

# 页数循环:range前闭后开，要+1
for i in range(begin,end+1):
    pn = (i - 1) * 50
    # print(pn)
# 拼接url
    base_url = 'https://tieba.baidu.com/f?'
    url = base_url + result + "&pn=" + str(pn)
    # print(url)
    # 发起请求
    req = urllib.request.Request(url, headers=headers)
    res = urllib.request.urlopen(req)
    html = res.read().decode('utf-8')
    # 保存数据
    filename = "第" + str(i) + "页.html"
    with open(filename,"w",encoding='utf-8') as f:
        print('正在爬取第 %d 页'% i)
        f.write(html)

结果：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

方法二：函数def形式写

基本架构

在这里插入图片描述

import urllib.request
import urllib.parse
# 读取页面
def readPage(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}
    req = urllib.request.Request(url,headers=headers)
    res = urllib.request.urlopen(req)
    html = res.read().decode('utf-8')
    return html

# 写入数据
def writePage(filename , html):
    with open(filename,"w",encoding='utf-8') as f:
        f.write(html)
        print('爬取成功')

# 主函数
def main():
    name =input('请输入爬取贴吧主题名')
    begin =int(input('请输入爬取起始页'))
    end = int(input('请输入爬取结束页'))
    kw ={'kw':name}
    result =urllib.parse.urlencode(kw)
    for i in range(begin,end+1):
        pn =(i -1) * 50
        base_url = 'https://tieba.baidu.com/f?'
        url = base_url + result + "&pn=" + str(pn)
        # 调用函数
        html = readPage(url)
        filename ='第' + str(i) + "页.html"
        writePage(filename,html)

if __name__ == '__main__':
    main()

在这里插入图片描述
在这里插入图片描述

方法三：类方法写

import urllib.request
import urllib.parse


class BaiduSpider:
    def __init__(self):
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}
        self.base_url ='https://tieba.baidu.com/f?'


    def readPage(self,url,):
        req = urllib.request.Request(url, headers=self.headers)
        res = urllib.request.urlopen(req)
        html = res.read().decode('utf-8')
        return html

    def writePage(self,filename,html):
        with open(filename,"w",encoding='utf-8') as f:
            f.write(html)
            print('爬取成功')

    def main(self):
        name = input('请输入爬取贴吧主题名')
        begin =int(input('请输入爬取起始页'))
        end = int(input('请输入爬取结束页'))
        kw ={'kw':name}
        result = urllib.parse.urlencode(kw)
        for i in range(begin,end+1):
            pn =(i -1) * 50
            url = self.base_url + result + "&pn=" + str(pn)
            html =self.readPage(url)
            filename ='第' + str(i) + '页.html'
            self.writePage(filename,html)


if __name__ == '__main__':
    spider = BaiduSpider()
    spider.main()

在这里插入图片描述
在这里插入图片描述

Post方式

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

import urllib.request
import urllib.parse

# 输入内容
content = input('请输入你要翻译的句子')
# URL
# https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule
# 获取form data数据
data = {'i': content,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'salt': '16187688635891',
        'sign': 'f7858bb42fe7c52e6821a15831c2915e',
        'lts': '1618768863589',
        'bv': '3d91b10fc349bc3307882f133fbc312a',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME'}
data = urllib.parse.urlencode(data)
url = 'https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}
req = urllib.request.Request(url,headers=headers,data=data)
res = urllib.request.urlopen(req)
html = res.read().decode('utf-8')
print(html)

在这里插入图片描述

解决方式：使data数据类型为bytes字节
# 获取form data数据
data = {'i': content,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'salt': '16187688635891',
        'sign': 'f7858bb42fe7c52e6821a15831c2915e',
        'lts': '1618768863589',
        'bv': '3d91b10fc349bc3307882f133fbc312a',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME'}
data = urllib.parse.urlencode(data)
data =bytes(data,'utf-8')

仍出错：

在这里插入图片描述

解决：去掉_o——后续js解密再说

在这里插入图片描述

结果：

在这里插入图片描述

字符串转化字典 json.load

在这里插入图片描述
在这里插入图片描述

拿到字典后需要直接取出翻译的数据：

在这里插入图片描述

r =r_dict['translateResult'] #[[{'src': '你好', 'tgt': 'hello'}],123,456]第0项，第一项，第二项......
result1 =r[0][0]['tgt'] #[{'src': '你好', 'tgt': 'hello'}]→{'src': '你好', 'tgt': 'hello'}→'hello'
print(result1)

总体代码：

import urllib.request
import urllib.parse
import json

# 输入内容
content = input('请输入你要翻译的句子')
# URL
# https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule
# 获取form data数据
data = {'i': content,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'salt': '16187688635891',
        'sign': 'f7858bb42fe7c52e6821a15831c2915e',
        'lts': '1618768863589',
        'bv': '3d91b10fc349bc3307882f133fbc312a',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME'}
data = urllib.parse.urlencode(data)
data =bytes(data,'utf-8')
url = 'https://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}
req = urllib.request.Request(url,headers=headers,data=data)
res = urllib.request.urlopen(req)
html = res.read().decode('utf-8')
# print(html,type(html))
r_dict = json.loads(html)
# print(r_dict,type(r_dict))
r =r_dict['translateResult'] #[[{'src': '你好', 'tgt': 'hello'}],123,456]第0项，第一项，第二项......
result1 =r[0][0]['tgt'] #[{'src': '你好', 'tgt': 'hello'}]→{'src': '你好', 'tgt': 'hello'}→'hello'
print(result1)

在这里插入图片描述

requests方式爬取

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}

# 发起请求获得响应 <Response [200]>
res = requests.get('https://www.yuque.com/books/share/6c1173d1-0b5c-461e-a389-06392f698852/aqvx0r')
# print(res)
# 直接读取
print(res.text)

在这里插入图片描述
在这里插入图片描述

问题：直接res.text会出现乱码

解决1：res.content.decode（‘utf-8’)

在这里插入图片描述

解决2：res.encoding =‘utf-8’，再print（res.text）

在这里插入图片描述

# 直接读取
# print(res.text) # 字符串数据 文本 有乱码
# print(res.content) # 字节流数据 图片、视频、音频
print(res.content.decode('utf-8')) # 方法一
res.encoding ='utf-8' # 方法二
print(res.text)

完整代码：

import requests
import json

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36'}
# 获取form data数据
content = input('请输入你要翻译的句子')
data = {'i': content,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'salt': '16187688635891',
        'sign': 'f7858bb42fe7c52e6821a15831c2915e',
        'lts': '1618768863589',
        'bv': '3d91b10fc349bc3307882f133fbc312a',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME'}
url = 'https://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
res =requests.post(url,data=data,headers=headers)
html =res.text
# print(html)
r =json.loads(html)
r =r['translateResult']
r1 =r[0][0]['tgt']
print(r1)

在这里插入图片描述

两万字博文教你python爬虫requests库【详解篇】
孤寒者的博客
07-12 63万+
两万字博文教你python爬虫requests库【详解篇】
Python爬虫之requests模块（一）
m0_61503020的博客
09-23 1988
python爬虫之requests模块（一）
python——requests
pumpkin84514的博客
08-24 3619
requestsrequests库简化了HTTP请求的发送和处理。支持多种HTTP方法及高级功能，如会话、SSL验证、超时等。在数据采集和爬虫中非常实用，尤其适合初学者快速上手。
Python requests 模块
unber的博客
07-29 936
Python 内置了 requests 模块，该模块主要用来发 送 HTTP 请求，requests 模块比 urllib 模块更简洁。
python爬虫requests库函数简单使用
qq_42811988的博客
11-11 735
Requests库 requests库的7个主要方法 requests.request()----- 构造一个请求，支撑以下各方法的基础方法 requests.get()----- 获取HTML网页的主要方法，对应于HTTP的GET方法 requests.head()----- 获取HTML网页头信息的方法，对应于HTTP的HEAD方法 requests.post()----- 向HTML...
Python-Requests
weixin_45203607的博客
10-19 857
requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多，requests 允许你发送 HTTP/1.1 请求。免责声明：本文部分素材来源于网络，版权归原创者所有，如存在文章/图片/音视频等使用不当的情况，请随时私信联系我、以迅速采取适当措施，避免给双方造成不必要的经济损失。每次调用 requests 请求之后，会返回一个 response 对象，该对象包含了具体的响应信息。在本博客学习的技术不得以任何方式直接或者间接的从事违反中华人民共和国法律,内容仅供学习、交流与参考。
python---requests
xuqi7
05-23 677
一些关于requests的使用，基本上把官方说明文档的简单用法搬了过来
精选资源
python爬虫requests库入门基础
06-06
### Python爬虫requests库入门基础 #### Requests模块安装与简介 - **安装**: 使用Python的包管理工具pip来安装requests库。在命令行输入以下命令即可完成安装：`pip install requests`。 - **模块简介**: ...
python 爬虫请求模块requests详解
12-16
初级爬虫的开始主要是使用requests模块 安装requests模块： Windows系统： cmd中： pip install requests mac系统中： 终端中： pip3 install requests requests库的基本使用 import requests url = '...
Python爬虫requests模块的cookie处理 五(1)
m0_64010473的博客
07-09 653
requests模块的cookie处理 http/https协议特性:无状态没有请求到对应个人主页页面数据的原因:发起的第二次基于页面请求的时候,服务器端不知道该次请求是基于登陆状态下的请求.cookie:用来让服务器端记录客户端的相关状态.----手动处理:通过抓包工具获取cookie值,将该值封装到headers中(不建议)----自动处理:--创建一个session对象:requests.Session()--使用session进行模拟登陆post请求上午发送(cooki会被存储在session
Python—requests模块
最新发布
2301_78096295的博客
07-19 306
本文演示了Python requests模块的常见用法，包括：1) 基本GET请求；2) 带参GET请求；3) POST请求发送JSON数据；4) 响应处理；5) 错误处理；6) 会话保持；7) 文件上传；8) 基本认证；9) 超时设置；10) 代理设置。requests模块提供了简洁直观的API，使HTTP请求变得简单高效，适用于各种Web交互场景
python接口篇-Requests
清微的博客
04-09 5699
python接口篇-Requests
Python中requests库
热门推荐
一个专注于机器学习基础与实战的技术博客，内容涵盖算法推导、模型实现、数学原理与代码实践。用通俗的语言解析复杂概念，记录学习过程中的思考与总结，适合机器学习爱好者和从业者参考。
02-28 5万+
文章目录requests库一、 基本概念1、 简介2、 获取3、 http 协议3.1 URL3.2 常用 http 请求方法二、 使用方法1、 基本语法requests 库中的方法2、 具体使用方法2.1 get2.1.1 基本语法2.1.2 常用参数2.2 post2.2.1 基本语法2.2.2 常用参数2.3 response2.4 **head**2.4.1 基本语法2.5 put requests库 一、 基本概念 1、 简介 requests 模块是 python 基于 urllib，采用 A
【必看！！！】Python—requests模块详解!（文末附带无偿大礼包）
2401_85855266的博客
10-10 3061
在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。获取文本方式的响应体实例：当你访问 r.text 之时，会使用其响应的文本编码进行解码，并且你可以修改其编码让 r.text 使用自定义的编码进行解码。基本身份认证(HTTP Basic Auth)
python的requests模块功能_python-Requests模块的使用
weixin_39738152的博客
11-24 270
1. Requests简介Requests模块是一个用于网络访问的模块，其实类似的模块有很多，比如urllib，urllib2，httplib，httplib2，他们基本都提供相似的功能，那为什么Requests模块就能够脱引而出呢？可以打开它的官网看一下，是一个“人类“用的http模块。那么，它究竟怎样的人性化呢？相信如果你之前用过urllib之类的模块的话，对比下就会发现它确实很人性化。2.安...
【Python库详解】 Requests
赶紧的博客
04-11 2944
requests是 Python 中最流行的 HTTP 客户端库，以简洁的 API 设计和强大的功能著称。以下是其核心知识点的详细说明及代码示例。# 使用自定义 CA 证书验证print("自定义证书验证成功")
Python-requests模块详解！
Python_trys的博客
11-13 4141
在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。获取文本方式的响应体实例：当你访问 r.text 之时，会使用其响应的文本编码进行解码，并且你可以修改其编码让 r.text 使用自定义的编码进行解码。基本身份认证(HTTP Basic Auth)
python requests模块
HuanBianCheng27的博客
05-15 1139
将cookieJar转成cookies字典：cookies_dict=requests.utils.dict_from_cookieJar(response.cookies)session实例请求一个网站之后，对方服务器设置在本地的cookie会保存在session中，下一次再使用session请求对方服务器的时候，会带上前一次的cookie。● response.request.cookies 响应对应请求的cookie;● response.request.headers 响应对应的请求头。
python-requests库（爬虫）
BugEveryday的博客
06-08 1392
网页数据获取有python自带的urllib，也有第三方库requests。
Python爬虫基础：requests模块与HTTP请求详解
Python爬虫之requests的使用涵盖了爬虫的基础知识、HTTP协议的理解以及requests库的实战应用，对于初学者来说是很好的入门教程。通过学习这部分内容，开发者能够理解爬虫的基本原理，并具备使用requests进行简单网络...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值