【MindSpore】将PyTorch的checkpoint文件导入到MindSpore网络

原创 已于 2022-06-21 10:23:44 修改 · 2.3k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mindspore #pytorch

于 2021-05-08 11:55:47 首次发布

注：本文中用的是MindSpore1.3.0版本，参数的命名方式可能会有更新，请参照两框架的API文档自行甄别参数名的对应关系。（2022年6月21日）

我采用的是一种比较笨拙的方法，需要人工对比寻找规律，但是有效。

首先分别需要PyTorch和MindSpore的checkpoint文件，用下面的方式导出文件内容，遍历参数的key和value。

import torch
import mindspore 
from mindspore import load_checkpoint


def traversal_params(pth_file_path, ckpt_file_path):
    # load pth file as a dictionary
    torch_params_dict = torch.load(pth_file_path)
    # traversal a params dictionary
    for k, v in torch_params_dict.items():
最低0.47元/天 解锁文章
【MindSpore】转换PyTorch的checkpoint文件为MindSpore
bravozyz的博客
08-03 1481
本段代码可将PyTorch的checkpoint文件转换为MindSpore的checkpoint文件。 注意：只支持仅包含Convolution和BatchNorm算子的简单网络，例如用于图像语义分割的HRNet。算子的命名要与迁移网路的PyTorch版本一致。 from mindspore.train.serialization import load_checkpoint, load_param_into_net, save_checkpoint from mindspore import Tenso
【MindSpore易点通】如何将PyTorch源码转成MindSpore低阶APIP,并在Ascend芯片上实现单机单卡训练
skytttttt9394的博客
08-30 748
构造模型时，首先将网络原型与损失函数封装，再将组合的模型与优化器封装，最终组合成一个可用于训练的网络。由于训练并验证中，需计算在训练集上的精度 ，因此返回值中需包含网络的输出值。与MindSpore高阶API相同，低阶API训练也需要进行：配置运行信息、数据读取和预处理、网络定义、定义损失函数和优化器。注：由于高阶API采用数据下沉模式进行训练，而低阶API不支持数据下沉训练，因此高阶API比低阶API训练速度快。下图展示了MindSpore高阶API、低阶API和PyTorch的训练流程的区别。...
MindSpore与PyTorch迁移指南：无缝切换到昇腾生态
Kenji_Shinji的博客
09-19 1219
摘要：本文介绍了从PyTorch迁移到MindSpore框架并利用昇腾（Ascend）NPU生态的完整指南。主要内容包括：1）MindSpore与PyTorch的API对比和优势分析；2）迁移前的环境准备和知识储备；3）详细的代码迁移四步法（API替换、网络构建、权重转换、训练验证）；4）常见问题的解决方案（如Dropout参数反向、数据对象差异等）；5）实际性能提升案例（ResNet-50训练速度提升147%）。文章提供了从环境搭建到完整代码示例的实用指导，帮助开发者在昇腾硬件上获得更高效的AI训练和推理
MSAdapter，一款高效迁移PyTorch代码到MindSpore生态的适配工具
OpenI启智社区
04-11 1684
为匹配用户习惯，MSAdapter设计目的是在用户不感知的情况下，能适配PyTorch代码运行在昇腾（Ascend）设备上。MSAdapter以PyTorch的接口为标准，为用户提供一套和PyTorch一样（接口和功能完全一致）的中高阶模型构建接口和数据处理接口。它能帮助用户高效使用中国算力网——智算网络的昇腾算力，且在不改变原有PyTorch用户使用习惯下，将代码快速迁移到MindSpore生态上。MSAdapter已在OpenI启智社区开源，社区为大家提供了普惠NPU算力资源，欢迎大家使用。
将模型参数从Pytorch迁移到Mindspore
EHOOYA的博客
12-13 1216
最近在做一些pytorch代码迁移到mindspore的项目，由于训练数据非常大不好重新训练，所以想把作者提供的预训练模型参数迁移一下看看效果，这篇文章相当于做个笔记。这里以deeplab的Resnet101为例：1. pytorch版本的权重文件（.pth文件)2. mindspore的模型代码 mindspore的模型代码需要根据pytorch版代码来自己迁移，有些比较常用的预训练模型代码可以在mindspore的modelzoo中找到。 读取双方的参数并把键值(key)保存为csv文
pytorch转mindspore
m0_46634282的博客
11-17 1355
pytorch转mindspore一些记录
01基于MindSpore实现Pytorch项目迁移
To be a better man
11-20 738
本节主要是使用MindTorch在启智平台完成Pytorch的迁移任务。课程内容主要是通过实践案例来学习MindTorch的开发方法。
Pytorch模型参数迁移至Mindspore实战指南
fengbeely的博客
06-18 985
最近在做一些pytorch代码迁移到mindspore的项目，由于训练数据非常大不好重新训练，所以想把作者提供的预训练模型参数迁移一下看看效果，这篇文章相当于做个笔记。这里以deeplab的Resnet101为例：pytorch版本的权重文件（.pth文件)mindspore的模型代码mindspore的模型代码需要根据pytorch版代码来自己迁移，有些比较常用的预训练模型代码可以在mindspore的modelzoo中找到。 读取双方的参数并把键值(key)保存为csv文件 比较一下两边的区别 双方一
常见深度学习模型文件后缀及MindSpore模型文件导出方法
水滴汇聚，江河飞扬
06-04 1957
TensorFlow。
MindSpore在Mnist数据集上的实验
lillllllll的专栏
10-11 4702
mindspore 是华为的深度学习框架，与Pytorch非常类似，下面以官方的入门实验为例进行实验。代码简单，直接放上： import os import argparse from mindspore import context # args = parser.parse_known_args()[0] context.set_context(mode=context.GRAPH_MODE, device_target='CPU') import mindspore.dataset as ds
深度学习模型权重转换（pytorch转mindspore）
weixin_43576024的博客
09-18 952
在bevformer.py文件__init__之后打断点，通过self.img_backbone.state_dict()得到入参数--self.img_backbone.state_dict().keys()，可以得到全部的参数。核心：先载入一个pytorch的模型，用mindspore的key和pytorch的value。直接运行一下，重点是net.get_parameters()这个方法可以直接拿到参数。4 根据得到到mapping.json文件生成mindspore需要的ckpt文件;
MSAdapter，一款高效迁移PyTorch代码到昇思MindSpore生态的适配工具
Kenji_Shinji的博客
04-13 912
下面以AlexNet模型为例，训练CIFAR10数据集的PyTorch代码转到MSAdapter代码，完整的代码可以从MSAdapterModelZoo获取（https://openi.pcl.ac.cn/OpenI/MSAdapterModelZoo/src/branch/master/official/cv/alexnet）为了帮助用户高效迁移PyTorch代码到昇思MindSpore生态，昇思MindSpore和鹏城实验室联合开发的一款昇思MindSpore生态适配工具——MSAdapter。
将一个 PyTorch BERT 模型转换为 MindSpore 模型
m0_58969225的博客
12-27 1344
将一个 PyTorch BERT 模型转换为 MindSpore 模型
Pytorch-模型的保存和导入
秀呀秀的博客
02-23 5071
在PyTorch中如何保存和恢复模型并查看参数 在模型完成训练后，我们需要将训练好的模型保存为一个文件供测试使用，或者因为一些原因我们需要继续之前的状态训练之前保存的模型，那么如何在PyTorch中保存和恢复模型呢？ 参考PyTorch官方的这份repo，我们知道有两种方法可以实现我们想要的效果。 方法一(推荐)： 第一种方法也是官方推荐的方法，只保存和恢复模型中的参数。 保存 ...
关于Pytorch转换为MindSpore的一点建议
knoka的博客
06-23 1669
整体来说，只要数据集构建没有问题，网络结构没有问题（需要计算测试）那么框架转换就很简单了，因为训练的流程都大致相同，虽然mindspore里面没有梯度清零什么的但是也有独特的自动微分梯度求导，这个多看几个案例，其实也是一套流程。
【Mindspore】从Pytorch迁移至Mindpore——数据处理（基础篇）
Linorman111的博客
11-16 989
Mindspore已经推出2.x版本，框架可用性有了很大提高，生态逐渐完善。依赖于华为提供的软硬件一体解决方案，Mindspore配合Ascend系列npu有非常好的训练和推理表现，尤其在边缘计算上有着极大的优势。本文将聚焦于数据处理方面，完成从Pytorch到Mindspore的迁移工作。
pytorch学习（十一）checkpoint
hero_heart的博客
07-20 661
当训练一个大模型数据的时候，中途断电就可以造成已经训练几天或者几个小时的工作白做了，再此训练的时候需要从epoch=0开始训练，因此中间要不断保存（epoch，net，optimizer，scheduler）等几个内容，这样才能在发生意外之后快速恢复工作。min_loss_val 定义成全局的变量之后，应该在用到的函数中，使用global min_loss_val再次定义，否则会报错误。通过本博客的学习，你将学会最优模型保存和模型自动加载的方法。
pytorch导入预训练模型部分参数
fangting的博客
03-01 1868
checkpoint = torch.load(checkpoint) start_epoch = checkpoint["epoch"] + 1 #best_score = checkpoint["best_score"] best_score = 0 print("\t* Training will conti...
PyTorch 之 Checkpoint 机制解析
qq_29462849的博客
01-09 7562
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨Lart编辑丨极市平台导读PyTorch 提供了一种非常方便的节省显存的方式，就是 Checkpoint 机制。这篇文章的目...
本地大模型部署 mindspore
最新发布
12-05
<think> 嗯，用户这次问的是在本地部署大模型时使用MindSpore的方法。看来用户对AI框架和大模型部署都有一定了解，可能是开发者或研究人员。 从用户明确提到"本地部署"这个关键词来看，ta应该更关注离线环境下的解决方案，而不是云服务。而且特意指出要参考站内引用，说明可能看过相关文档，但需要更落地的指导。 我注意到用户之前的问题历史涉及技术实现细节，这次回答需要包含：环境配置这种基础操作、模型转换这种关键难点、以及推理优化这种进阶内容。要特别注意MindSpore的特性说明，比如昇腾芯片支持这种独家优势。 用户没有指定具体模型类型，所以准备涵盖通用流程。但考虑到"大模型"这个表述，应该重点突出分布式推理和显存优化技术。另外需要强调MindSpore Lite这个工具链，这是本地部署的核心组件。 要避免过于理论化，直接给出可操作的步骤：从安装到转换再到部署流水线。示例代码用Python比较合适，因为MindSpore的Python接口最完善。性能优化部分需要区分GPU和昇腾的不同方案，用户可能使用不同硬件。 最后生成的问题要引导用户补充关键信息：具体模型类型、硬件环境和性能需求，这样才能给出针对性建议。不过首轮回答还是保持通用性比较稳妥。 </think> 好的，在本地使用 MindSpore 部署大模型主要涉及以下几个关键步骤，下面将详细介绍： ## 本地使用 MindSpore 部署大模型的方法 1. **环境准备** * **安装 MindSpore:** 访问 MindSpore 官网 ([https://www.mindspore.cn/](https://www.mindspore.cn/))，根据你的**操作系统**、**硬件平台**（CPU/GPU/NPU 如昇腾）和 **Python 版本**，选择对应的安装命令进行安装。例如，在 Linux + GPU (CUDA 11.1) + Python 3.7 环境下： ```bash pip install mindspore-gpu==2.2.10 ``` * **安装依赖库:** * `mindspore-lite` (用于模型转换和推理)：MindSpore Lite 是轻量化的推理引擎，通常需要单独下载对应平台的发布包并配置环境变量，或使用 pip 安装特定版本 (如果可用)。 * `mindformers` (可选但推荐)：这是 MindSpore 的大模型套件，提供了大量预训练大模型 (如 GLM, Llama, GPT, Bloom, T5 等) 的**实现、权重转换工具、推理脚本和微调示例**。安装方式通常通过源码或 pip： ```bash pip install mindformers ``` * 其他模型特定依赖：根据你要部署的具体模型，可能需要安装额外的 Python 包 (如 `transformers`, `tokenizers` 等)。 2. **获取模型** * **选择模型:** 确定你要部署的大模型 (例如 GLM-6B, Llama2-7B, MindLLM 系列等)。 * **获取权重:** * **官方渠道：** 优先从 MindSpore 官方 Model Zoo、`mindformers` 套件内支持的模型、或昇腾社区获取**已经转换好的 MindSpore 格式 (.ckpt) 模型权重**。这是最便捷的方式。 * **转换权重:** 如果模型原生是 PyTorch (.pth/.bin) 或 Hugging Face Transformers 格式： 1. 使用 `mindformers` 提供的权重转换脚本 (例如 `mindformers/tools/llama_convert_weight.py`)。这通常需要指定原始权重路径、输出路径、原始框架类型等。 2. 或者使用 `torch_mindspore` 等第三方转换工具 (需注意兼容性)。 * *转换过程可能需要较大内存，且需要仔细核对模型结构和参数名映射。* 3. **模型转换 (为 MindSpore Lite 格式 - 可选但推荐)** 为了获得**最佳推理性能**和**更广泛的硬件支持**（尤其是在移动端、嵌入式或边缘设备），强烈建议将训练好的 MindSpore 模型（.ckpt）或 MindIR 格式模型转换为 MindSpore Lite 的 `*.mindir` 或 `*.ms` 格式。这一步通常在资源充足的开发机上进行。 * **使用 `mindspore_lite` 转换工具 (`converter_lite`):** 1. 下载对应平台的 MindSpore Lite 发布包。 2. 使用包中提供的 `converter_lite` 命令行工具。 3. 指定输入模型路径、输出路径、输入张量信息 (shape, data type) 等参数。 ```bash # 示例 (具体参数根据模型调整) ./converter_lite --modelFile=/path/to/model_graph.mindir --outputFile=/path/to/converted_model --fmk=MINDIR --inputDataFormat=NCHW --inputShape="input_tensor_name:1,3,224,224" ``` 4. **模型加载与推理** * **使用 MindSpore 原生 API (加载 .ckpt):** 1. 加载模型定义 (通常需要包含模型的网络结构 Python 代码)。 2. 使用 `mindspore.load_checkpoint()` 加载 .ckpt 权重文件。 3. 将模型设置为推理模式 `model.set_train(False)`。 4. 准备输入数据 (通常需要转换为 `mindspore.Tensor`)。 5. 调用 `model(input_tensor)` 进行推理。 ```python import mindspore as ms from my_model import MyBigModel # 导入你的模型定义 # 加载网络和权重 model = MyBigModel() param_dict = ms.load_checkpoint("/path/to/model.ckpt") ms.load_param_into_net(model, param_dict) model.set_train(False) # 设置为推理模式 # 准备输入 (示例) input_data = ... # 根据模型预处理你的数据 (文本/图像等) input_tensor = ms.Tensor(input_data, dtype=ms.float32) # 转换为Tensor, 注意dtype # 执行推理 output = model(input_tensor) print(output) ``` * **使用 MindSpore Lite 推理 (加载 .mindir / .ms):** 1. 创建 `mindspore_lite.Model` 实例。 2. 调用 `build_from_file` 方法加载转换好的模型文件 (.mindir/.ms)。 3. 创建 `ModelParallelRunner` (单设备) 或 `mindspore_lite.Context` + `Model` (多设备/分布式) 对象。 4. 准备输入数据 (转换为符合模型要求的 `numpy.ndarray`)。 5. 创建 `mindspore_lite.Tensor` 对象包装输入数据。 6. 调用 `predict` 方法进行推理。 7. 获取输出 `Tensor` 并转换为 `numpy.ndarray`。 ```python from mindspore_lite import Model, Tensor import numpy as np # 初始化 Lite Model lite_model = Model() lite_model.build_from_file("/path/to/converted_model.ms") # 加载转换后的模型 # 创建 Runner (或更高级的 Context 配置) runner = lite_model.create_model_parallel_runner() # 准备输入 (假设只有一个输入) inputs = runner.get_inputs() input_tensor = inputs[0] # 假设 input_data 是预处理好的 numpy 数组 input_data = ... # shape 和 dtype 必须匹配模型输入 input_tensor.set_data_from_numpy(input_data) # 执行推理 outputs = runner.predict(inputs) # 获取输出 (假设只有一个输出) output_tensor = outputs[0] output_data = output_tensor.get_data_to_numpy() print(output_data) ``` 5. **性能优化 (关键步骤)** 大模型推理资源消耗巨大，优化至关重要： * **混合精度推理:** 使用 `mindspore.amp` 模块将模型转换为 FP16 或 BF16 精度进行推理，显著降低显存占用和提升速度。 ```python from mindspore import amp model = amp.auto_mixed_precision(model, 'O3') # O1/O2/O3 是不同的优化级别 ``` * **图算融合/算子优化:** MindSpore 会自动进行图级优化。可以通过配置 `context` 或在导出模型时设置选项来启用特定优化。 * **分布式推理 (模型并行/流水线并行):** * 对于超大模型（远超单卡显存），必须使用分布式策略。 * 使用 `mindspore.set_auto_parallel_context` 配置并行策略（`parallel_mode` 如 `semi_auto_parallel`, `auto_parallel`, `pipeline_parallel`）。 * 使用 `mindspore.shard` 等 API 指定模型不同部分的切分策略。 * 需要仔细设计模型切分和流水线阶段划分，以及设备间通信。 * `mindformers` 套件为支持的模型提供了开箱即用的分布式推理配置示例。 * **内存优化:** 使用 `mindspore.set_context(memory_optimize_level='O1'/'O2')` 启用内存优化策略，如激活重算 (recompute)。 * **使用 MindSpore Lite:** Lite 引擎针对端侧和服务器推理做了大量优化，通常比原生 API 在特定硬件上更快、资源占用更少。 * **硬件特定优化:** 如果使用昇腾 NPU，利用昇腾 AI 处理器架构特性（如 Cube 计算单元、大算力集群）和配套工具链（如昇腾 CANN）进行深度优化。 6. **部署架构 (本地环境)** * **单机单卡/多卡:** 对于中等规模模型，一台配备高性能 GPU 或多张 GPU 的工作站即可。 * **单机多卡 (模型并行/流水线并行):** 一台服务器配备多张 GPU/NPU 卡，通过 PCIe/NVLink 互联，利用 MindSpore 的分布式能力在单机内切分模型。 * **多机多卡 (分布式):** 对于超大规模模型，需要多台服务器组成集群，服务器间通过高速网络（如 InfiniBand）连接，利用 MindSpore 的分布式训练/推理框架进行部署。这需要配置集群管理、通信库（如 OpenMPI, HCCL）等。 7. **构建应用接口** 将核心推理逻辑封装成服务： * **Web API (推荐):** 使用 Flask, FastAPI 等框架构建 RESTful API。接收请求（如文本），预处理输入，调用模型推理，处理输出（如生成文本），返回结果。 * **命令行接口 (CLI):** 创建简单的 Python 脚本，接受命令行参数输入，执行推理并打印结果。 * **GUI 应用:** 使用 PyQt, Tkinter 或更现代的框架构建图形界面。 ### 总结关键步骤 1. **搭环境：** 安装正确版本的 MindSpore, mindspore-lite, mindformers 及其依赖。 2. **拿模型：** 获取或转换得到 MindSpore 格式 (.ckpt) 的模型权重。 3. **转模型 (优化选)：** 使用 `converter_lite` 将模型转为 Lite 格式 (.ms/.mindir) 以获得更优推理性能。 4. **写推理：** 使用 MindSpore 原生 API 或 MindSpore Lite API 编写加载模型、处理输入、执行推理、处理输出的代码。 5. **猛优化：** 应用混合精度、分布式策略（模型并行/流水线并行）、内存优化、Lite 引擎等关键技术来应对大模型的高资源需求。 6. **包服务：** 将推理代码封装成 API、CLI 或 GUI 应用，方便用户调用。 ### 注意事项 * **资源需求:** 大模型本地部署对硬件（GPU/NPU 显存、CPU 内存、磁盘空间、高速网络）、电力和散热要求极高，务必评估清楚。 * **模型兼容性:** 确保模型结构定义与权重文件完全匹配。转换权重时需格外小心。 * **文档参考:** **MindSpore 官方文档**、**`mindformers` 文档**和**昇腾社区**是首要参考资料，里面提供了详细的教程、API 说明、模型列表和示例代码。 * **社区支持:** 遇到问题时，积极利用 MindSpore 官方论坛、昇腾社区和 GitHub Issues 寻求帮助。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值