模型加载至 cpu 和 gpu 的方式

最新推荐文章于 2025-06-17 15:36:51 发布

M_TDM

最新推荐文章于 2025-06-17 15:36:51 发布

阅读量4.3k

点赞数 1

CC 4.0 BY-SA版权

文章标签：深度学习人工智能 python

本文链接：https://blog.youkuaiyun.com/M_TDM/article/details/129436122

文章讲述了如何将基于PyTorch的BertModel从CPU部署到GPU。使用`from_pretrained`时，需手动将模型移动到GPU设备。而通过`load_state_dict`加载模型，可以在加载时指定map_location到GPU，然后将模型放到CUDA设备上。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

采用 from_pretrained 的方式，模型正常情况下，BertMoldel.from_pretrained() 是会 load 在 cpu 上的，内部 map_location 默认设置成 cpu，如果想要部署在gpu，执行下面三句话。

BertMoldel.from_pretrained()
device=torch.device(’cuda’)
model.to(device)

采用 load_state_dict 的方式加载模型，模型是部署在哪里可以指定，如果想部署到 gpu，无需修改第一行，直接再加入4.5行。

state_dict=torch.load(model_path, map_location=’cpu’)
#部署到 gpu，把上面改为map_location=’gpu’
model.load_state_dict(state_dict)
#已在CPU上加载，下面两句也可加入GPU
device=torch.device(’cuda’)
model.to(device)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

M_TDM

关注关注

1
点赞
踩
9

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【Pytorch实战教程】Pytorch中model.load_state_dict()的详细介绍

若北辰

07-25

3036

该方法用于将预先保存的参数字典加载到模型中。这种方法非常灵活，适用于加载不同环境中的模型参数。是 PyTorch 中加载模型参数的标准方法。通过理解state_dict和strict参数的用法，可以灵活地在不同模型版本之间加载和迁移参数，提高模型的复用性和管理效率。

每天五分钟深度学习框架PyTorch:算法模型的保存和加载(CPU和GPU)

huanfeng_AI的博客

03-13

627

我们前面学习了模型的训练，比如线性回归，全连接神经网络，各种经典的卷积神经网络，模型训练完成之后，我们如何将训练的模型保存起来，然后方便之后的使用。pytorch已经封装好了相关的api，下面我们对此进行介绍。

1 条评论您还未登录，请先登录后发表或查看评论

如何将Pytorch生成的模型进行CPU部署

Einstellung的博客

04-14

4323

我们使用Pytorch深度学习框架训练好模型通常保存为.pth文件，但这种网络文件结构通常只在实验验证或者网络学习时使用。如果你做好了一个网络，想要将其部署在终端，或者想要加速其推理速度，可能需要其他专门的框架来帮助其部署。本文介绍英特尔公司开发的OpenVINO工具箱，用其来进行Pytorch生成模型的部署和加速。 OpenVINO介绍 OpenVINO是英特尔公司开发的基于卷积神经网络（CN...

Pytorch——将模型load到gpu或cpu上

wenqiwenqi123的博客

11-15

7427

很多时候我们在gpu上训练一个模型，但是在inference的时候不想使用gpu。或者想在别的gpu上使用，那么怎么办呢？需要在load的时候就选择device。保存了模型的参数(model.state_dict())到文件model.pth中。 1、cpu->cpu 或gpu->gpu 这种情况是最简单的： checkpoint = torch.load('model...

torch.load

m0_69648014的博客

06-17

746

保存的模型或张量的函数。它支持从文件路径或文件对象加载数据，并可以指定设备（CPU 或 GPU）。是 PyTorch 中用于加载由。如果保存时包含模型结构和权重（通过。

执行model.load_state_dict报错map_location=torch.device(‘cpu‘)以及Unexpected key(s) in state_dict

m0_56222998的博客

08-02

2316

本蒟蒻原先是在有GPU的服务器上训练得到了模型，现在想在没有GPU的服务器部署网页，需要加载该模型，当运行了下面代码时。是因为没有将state_dict转移到CPU上，在PyTorch中，可以通过指定。仔细查看提示信息，发现是有一个未知的Key，我把它删掉竟然就跑通了。我打印出了两台服务器中state_dict的内容。打印的内容都是一样的，都是下面的内容。

如何将传统代码加载到GPU中加速

sinat_38007523的博客

03-14

848

numpy转化为cuda 由于numpy比较基础和通用，但是GPU上跑实验必须使用tensor，故还是直接用torch里面的函数更加直接快速，其两者直接的对比整理如下：生成类操作用途numpytorch随机整数np.random.randint(0,2,(4,3))torch.empty(4,3).random_(0,2)[0,1)均匀分布np.random.rand(3,4)torch.rand(3,4)任意均匀分布np.random.uniform(-1,1,(3,4))torch.empty(

解决pytorch多GPU训练保存的模型,在单GPU环境下加载出错问题

09-16

### 解决PyTorch多GPU训练保存的模型，在单GPU环境下加载出错的问题 #### 背景在实际工作中，我们经常会遇到这样的情况：在配备了多张GPU的工作站或服务器上训练深度学习模型，然后将训练好的模型迁移到只有单个...

PyTorch使用cpu加载模型运算方式

09-18

在PyTorch中，当你没有GPU或者CUDA支持时，仍可以使用CPU进行模型的加载和运算。本篇文章将详细介绍如何在PyTorch中利用CPU来加载和执行模型运算。首先，当你从磁盘加载一个已经训练好的模型时，通常会使用`torch....

基于深度学习的天气预测模型含cpu和GPU模型内含数据集.zip

03-19

这个项目名为“基于深度学习的天气预测模型”，其中包含了适合CPU和GPU运行的模型，以及相关的数据集。【描述】：天气预测代码与数据集该项目的核心是利用深度学习算法预测未来天气状况。通常，天气预测涉及到...

模型训练时CPU和GPU大幅度波动——可能是数据的读入拖后腿

jokerMingge的博客

09-19

662

在进行猫狗大战分类任务时，发现模型训练时CPU和GPU大幅度波动，且模型训练速度很慢。

Pytorch学习笔记（I）——预训练模型（八）：ResNet34网络结构

lockonlxf的博客

05-21

6603

ResNet( (conv1): Conv2d(3, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False) (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (relu): ReLU(...

针对PyTorch模型保存和加载时CPU和GPU之间的转换

weixin_45621026的博客

07-13

2272

所以保存前需要调用model.cpu()将参数移动到CPU内存,xn–gpumodel-hu2m38skqbr8hs8w9r0clq3bea0669fmpj3sq.to(device)将参数加载到GPU上。主要原因是torch.save和torch.load默认是存储在CPU内存中的,而模型在GPU上时参数是存储在GPU内存的。这样可以正确保存和加载模型到CPU/GPU。

torch模型从GPU到CPU

zywcj1314的博客

04-15

2927

最近在学习基于torch的文本识别。用的是VGG模型。代码资源：https://github.com/bgshih/crnn但是改模型是在GPU上训练的，我没有GPU所以要改到CPU上运行。这无疑是一个难题。在网上看到了一个改变的例子，借鉴过来参考。原代码链接：https://github.com/vic-w/torch-practice/tree/master/mnist requir...

pytorch 模型 cpu 和 gpu load--相互转换

qq_35818865的博客

08-19

1579

pytorch 模型 cpu 和 gpu load--相互转换

pytorch-pretrained-bert简单使用

上帝是个娘们的博客

04-15

2万+

转载自：9012年，该用bert打比赛了从下载模型权重开始 # 切换到你的anaconda　gpu 环境 # source activate 你的conda环境名称 # 安装加载预训练模型＆权重的包 pip install pytorch-pretrained-bert 接着就是下载模型权重文件了，pytorch-pretrained-bert官方下载地址太慢了…，推荐去kaggle下载L...

Pytorch：模型的保存加载、模型微调、GPU的使用

weixin_47255403的博客

12-11

2522

首先第一部分学习了模型的保存与加载，介绍了两种模型保存与加载的方法，然后迁移学习以及模型的微调技术，还介绍了迁移学习中常用的两个技巧。第二部分学习了如何使用GPU加速训练和GPU并行训练方式，最后贴上了Pytorch中常见的几种报错信息文档。

把BERT模型从单GPU训练转换到多GPU训练但出现StopIteration: Caught StopIteration in replica 0 on device 0.

anshiquanshu的专栏

07-04

815

# Prepare model model = BertForMultipleChoice.from_pretrained(args.bert_model, cache_dir=PYTORCH_PRETRAINED_BERT_CACHE / 'distributed_{}'.format(args.local_rank), num_choices=4) model.to(device) import torch.nn as nn # Prepare mod.

pytorch(一)模型加载函数torch.load()

最新发布

07-03

<think>首先，用户的问题是关于同一个深度学习模型文件在使用CPU和GPU加载时显示的模型大小不同。用户想知道原因和解决方案。用户提供的引用包括：-引用[1]:讨论了C++调用Python深度学习模型、GPU内存释放等问题。 -引用[2]:提到GPU和CPU模型加载参数类型不同，不能直接调用。-引用[3]:关于深度学习模型在FPGA上的加速。-引用[4]:解释了torch.load()函数，如何在CPU上加载GPU保存的模型，使用map_location参数。用户意图是理解为什么同一个模型文件在加载到CPU和GPU时大小不同，并找到解决方法。现在，我需要构建一个结构清晰的回答，使用中文，并遵循系统指令： -所有行内数学表达式用$...$格式。-独立公式用$$...$$格式并单独成段。- LaTeX语法正确。-生成相关问题。 -回答中引用的段落末尾添加引用标识。回答结构：1.**解释原因**：为什么模型在CPU和GPU加载时大小不同？-可能原因：模型参数在CPU和GPU上存储方式不同。GPU上使用半精度（如FP16）或混合精度训练，导致参数大小不同。或者，加载时涉及数据类型的转换。-引用相关部分：引用[2]提到GPU和CPU参数类型不同。引用[4]讨论加载模型时使用map_location。2.**提供解决方案**：-如何确保模型大小一致？例如，在加载时指定数据类型或使用map_location参数。-步骤：在PyTorch中，使用torch.load()时设置map_location=torch.device('cpu')或指定数据类型。3.**生成相关问题**：在回答末尾添加相关问题。关键点： -模型文件通常是相同的（.pth文件），但加载到不同设备时，参数在内存中的表示可能不同。- GPU上可能使用较小的数据类型（如float16 vsfloat32），导致内存占用不同。 -在PyTorch中，加载模型时可以通过map_location控制设备。基于引用[4]：torch.load()先在CPU上加载，但可以映射到GPU。如果模型在GPU上训练保存，在CPU加载时需map_location='cpu'。原因解释： -当模型加载到GPU时，参数可能被转换为CUDA张量，占用更多或更少内存，取决于精度。 -例如，float32在CPU和GPU上大小相同（4字节），但如果使用float16，GPU上大小减半。解决方案：-在加载模型时，统一数据类型：使用torch.load()时指定map_location或转换数据类型。-例如：model.load_state_dict(torch.load('model.pth',map_location=torch.device('cpu')))-或者，在训练时保存模型为CPU格式。生成相关问题：1.如何检查模型在不同设备上的参数大小？ 2.在PyTorch中，如何转换模型数据类型？ 3.深度学习模型在GPU和CPU上的性能差异？回答结构： -开头：简要介绍问题。 -原因部分：详细解释。 -解决方案部分：步骤清晰。 -结尾：生成相关问题。使用中文。</think>### 同一个深度学习模型文件在CPU和GPU加载时显示大小不同的原因及解决方案在深度学习模型部署中，用户经常遇到同一个模型文件（如PyTorch的`.pth`文件）加载到CPU和GPU时显示的内存大小不同。这通常是由于模型参数在设备上的存储方式、数据类型转换或加载机制导致的。下面我将逐步解释原因并提供解决方案，确保回答真实可靠，基于PyTorch框架（因其在引用中高频出现）。 #### 原因分析模型文件本身是相同的，但加载到不同设备后，参数在内存中的表示可能发生变化，导致显示大小差异。主要因素包括： 1. **参数数据类型不同**：GPU上常使用半精度（如float16）来优化内存和计算，而CPU默认使用单精度（float32）。例如，一个float32参数占用4字节，而float16仅占用2字节。加载到GPU时，如果模型自动转换为float16，内存占用会减小；反之，在CPU加载时保持float32，大小不变。数学上，参数大小可表示为$S = n \times d$，其中$n$是参数数量，$d$是数据类型字节大小。当$d$从4（float32）变为2（float16）时，$S$减半[^2]。 2. **设备映射机制**：PyTorch的`torch.load()`函数默认在CPU上加载模型文件，但会根据设备动态转换参数。如果模型在GPU上训练保存，加载到CPU时需显式指定`map_location`，否则参数可能被错误地映射到GPU张量，导致大小计算偏差[^4]。例如，GPU张量包含额外元数据（如CUDA上下文），而CPU张量更精简。 3. **内存对齐和优化**：GPU内存管理涉及缓存对齐和并行优化，可能增加额外开销。CPU加载则更直接，但缺乏这些优化。引用[3]提到，GPU加速会引入额外数据结构，影响内存占用。 4. **混合精度训练影响**：如果模型使用混合精度（如AMP）训练，保存的文件包含float16和float32参数。加载到GPU时，这些参数可能保持原样；加载到CPU时，PyTorch可能将所有参数提升为float32，导致大小增加[^2]。 #### 解决方案要解决模型大小差异问题，关键是统一加载设备或数据类型。以下是具体步骤（以PyTorch为例）： 1. **在加载时指定设备映射**：使用`torch.load()`的`map_location`参数强制模型加载到指定设备，并确保数据类型一致。 ```python import torch # 加载模型到CPU，无论原设备如何 model = torch.load('model.pth', map_location=torch.device('cpu')) # 或加载到GPU，但统一为float32 model = torch.load('model.pth', map_location=torch.device('cuda')) model = model.float() # 转换为float32 ``` 这避免了动态转换引起的大小变化[^4]。 2. **保存模型时统一数据类型**：在训练或保存模型前，显式设置参数数据类型。 ```python # 保存模型为CPU格式和float32 model.to('cpu').float() torch.save(model.state_dict(), 'model_cpu.pth') # 保存模型为GPU格式和float16（如果需要） model.to('cuda').half() torch.save(model.state_dict(), 'model_gpu.pth') ``` 这样，加载时大小差异最小化。 3. **检查并转换参数**：加载后比较参数大小，手动转换。 ```python # 加载模型 state_dict = torch.load('model.pth', map_location='cpu') # 转换为统一数据类型 for key in state_dict: state_dict[key] = state_dict[key].float() # 强制为float32 model.load_state_dict(state_dict) ``` 4. **监控内存使用**：使用工具如`torch.cuda.memory_allocated()`或`psutil`验证实际内存占用，避免显示误差。例如： ```python # GPU内存占用 print(torch.cuda.memory_allocated() / 1024**2, "MB") # 单位MB ``` 如果问题由GPU内存不足引起（如引用[1]所述），确保加载前释放无用资源：`torch.cuda.empty_cache()`。 #### 注意事项 - **性能权衡**：统一为float32可能增加内存占用但提升精度；float16减小大小但可能损失精度。根据应用场景选择。 - **框架差异**：在TensorFlow中，类似机制如`tf.device()`和`tf.cast()`可用。 - **引用验证**：上述方案基于PyTorch文档和引用[4]，实际效果需测试模型文件和环境。通过以上方法，您可以消除大小差异，确保模型部署一致性。如果问题持续，检查模型文件是否损坏或框架版本兼容性。