基于Pytorch+昇腾NPU开发大模型指导

已于 2023-10-07 09:59:21 修改
阅读量5.6k 收藏 12
点赞数 1
文章标签： pytorch 人工智能 语言模型 深度学习
于 2023-08-20 18:19:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/santanan/article/details/132394437
版权

1. 昇腾开源分布式训练加速库Ascend Speed

在昇腾上开发大模型，如果想有最快的迁移效率和最佳性能，推荐开发者基于Ascend Speed来迁移模型或者开发，Ascend Speed除了支持Deep Speed 和Megatron-LM的大模型特性以外（如3D并行，Zero等），还有一些昇腾亲和的优化特性，从而可以有更好的性能。

目前Ascend Speed已经支持了LLaMA2，Baichuan，Bloom等主流大模型，并且已经正式开源。

https://gitee.com/ascend/AscendSpeed

2. 通过Adapter方式支持Pytorch框架

昇腾对Pytorch是基于Adapter的方式(Torch-NPU)来支持，开发者只需要下载社区版本的Pytorch和对应该版本的Torch-NPU即可开发。

迁移指导文档可以参考：

https://www.hiascend.com/document/detail/zh/canncommercial/63RC2/modeldevpt/ptmigr/ptmigr_0002.html

Torch NPU链接：

最低0.47元/天 解锁文章
santa an
关注
LLMs之NPU之Ascend之PyTorch：基于华为昇腾NPU设备实现PyTorch模型迁移和训练之单机多卡+混合精度训练手动迁移—导入支持库、参数配置、设备映射、进程管理、模型迁移、数据加载
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-12 1343
​ LLMs之NPU之Ascend之PyTorch：基于华为昇腾NPU设备实现PyTorch模型迁移和训练之单机多卡+混合精度训练手动迁移—导入支持库、参数配置、设备映射、进程管理、模型迁移、数据加载、训练过程等多方面调整 目录 大模型软硬配置—对比英伟达GPU和华为NPU—适配方案细节 基于华为昇腾NPU设备实现PyTorch模型迁移和训练之单机多卡+混合精度训练手动迁移—导入支持库、参数配置、设备映射、进程管理、模型迁移、数据加载、训练过程等多方面调整 大模型软硬配置—对比英伟达GPU和华为
torch_npu 用法笔记
jacke121的专栏
11-13 679
torch_npu 用法笔记
PyTorch与昇腾平台：Stable Diffusion 2.1 模型迁移实践
daimakezhan_cn_f的博客
06-09 415
https://gitee.com/ascend/ModelZoo-PyTorch/blob/master/PyTorch/built-in/diffusion/stablediffusion-2.1StableDiffusion 是 StabilityAI公司于2022年提出的图片生成的预训练模型，论文和代码均已开源，下游任务包括文生图、图生图、图片压缩等等 适配昇腾 AI 处理器的实现： 准备环境 准备环境 当前模型支持的 PyTorch 版本和已知三方库依赖如下表所示。 表 1 版本支持表请
torch_npu使用中遇到的问题以及解决方案
最新发布
艾醒的博客
03-26 523
在配置环境和使用torch_npu时遇到的问题以及解决方法
NPU上PyTorch模型训练问题案例
m0_71340392的博客
09-26 8082
在昇腾AI处理器上训练PyTorch框架模型时，可能由于环境变量设置问题、训练脚本代码问题，导致打印出的堆栈报错与实际错误并不一致、脚本运行异常等问题，那么本期就分享几个关于PyTorch模型训练问题的典型案例，并给出原因分析及解决方法。
华为Ascend昇腾适配PyTorch框架
IT菜鸟
02-19 8478
通常，开发者基于PyTorch框架开发的AI模型不能直接在昇腾AI处理器上运行（训练和推理），即运行在GPU上的PyTorch模型不能平滑迁移到昇腾AI处理器上运行。为此，本教程用于昇腾适配PyTorch框架，为使用PyTorch框架的开发者提供昇腾AI处理器的超强算力。PyTorch安装指南PyTorch Adapter插件，用于昇腾适配PyTorch框架，为使用PyTorch框架的开发者提供昇腾AI处理器的超强算力。
尝试使用Intel NPU运行大模型
netzsm的专栏
04-24 9290
尝试使用现在闲置的NPU运行Qwen模型, 本示例参考 intel_npu_acceleration_library 实现
使用 Intel NPU 和 OpenVINO 进行 PyTorch 推理
qq_44458671的博客
01-14 990
最近较新的 Intel CPU 均配备了神经计算单元（NPU），但实现其原生支持的软件尚不多，本文尝试基于 Pytorch 利用 OpenVINO 框架利用 NPU 进行推理，并发现相关步骤已经被简化到相当程度。
深入探讨基于PyTorch框架的算子开发与适配：如何高效适配至昇腾AI处理器
qq_38334677的博客
10-01 342
算子适配是将PyTorch模型在昇腾AI处理器上高效运行的关键步骤。通过遵循统一的适配原则，合理配置yaml文件，编写合适的算子适配代码，我们可以充分发挥硬件的计算能力，提升模型的推理效率。随着深度学习模型和硬件加速技术的不断发展，算子适配将变得越来越重要。未来，我们可以预见更多高级的适配策略和优化技术，将帮助开发者更好地使用PyTorch与昇腾AI处理器。
大模型国产化迁移大模型到昇腾教程（Pytorch版）
01-03 1184
大模型国产化适配10-快速迁移大模型到昇腾910B保姆级教程（Pytorch版）
华为昇腾Ascend系列之06 昇腾NPU模型训练，PyTorch的模型迁移与训练流程，将在GPU上训练CNN模型识别手写数字的脚本代码进行修改（教程含源码Ascend 910、Ascend 910B
iCloudEnd的博客
06-03 1107
本文提供了一个简单的模型迁移样例，采用了最简单的自动迁移方法，帮助用户快速体验GPU模型脚本迁移到昇腾NPU上的流程，将在GPU上训练CNN模型识别手写数字的脚本代码进行修改，使其可以迁移到昇腾NPU上进行训练。
pytorch模型转换为rknn模型，使用npu推理
振华OPPO的博客世界
10-24 8070
然后在rknn文件夹下，找到onnx2rknn.py、dataset.txt和coco2017数据集，将它们复制到新的文件夹中，作为rknn模型转换目录。🎼量化精度分析：该功能将给出模型量化前后每一层推理结果与浮点模型推理结果的余弦距离，以便于分析量化误差是如何出现的，为提高量化模型的精度提供思路。🏋性能和内存评估：将 RKNN 模型分发到指定 NPU 设备上运行，以评估模型在实际设备上运行时的性能和内存占用情况。pt模型的输入图像的通道一定要和转换时的图像通道数相同，对于RGB图像肯定是3通道。
NPU迁移pytorch模型和性能调优
lmlmlmj的博客
05-12 2881
NPU迁移和性能调优
昇腾AI入门课（PyTorch）
weixin_38771145的博客
02-22 2363
当前阶段，PyTorch框架与昇腾AI处理器进行了在线对接适配。方案特性及优点昇腾AI处理器的加速实现方式是以算子为粒度进行调用（OP-based），即通过Ascend Computing Language（AscendCL）调用一个或几个亲和算子组合的形式，代替原有GPU的实现方式。其逻辑模型如图1所示。最大限度的继承PyTorch框架动态图的特性。最大限度的继承GPU在PyTorch上的使用方式，可以使用户在将模型移植到昇腾AI处理器设备进行训练时，在开发方式和代码重用方面做到最小的改动。
探索极致AI性能：昇腾NPU与PyTorch的完美融合 —— Ascend Extension for PyTorch
gitblog_00067的博客
06-09 1880
探索极致AI性能：昇腾NPU与PyTorch的完美融合 —— Ascend Extension for PyTorch 去发现同类优质开源项目:https://gitcode.com/ 项目简介 在人工智能领域，高效灵活的框架与强大的硬件加速器是实现先进算法的关键组合。 Ascend Extension for PyTorch 插件，即 torch_npu，正是这样一个解决方案，它无缝对接PyTo...
基于Pytorch+昇腾NPU部署baichuan2-7B大模型
XD的博客
04-02 4839
Baichuan 2 是百川智能推出的新一代开源大语言模型，采用2.6 万亿Tokens 的高质量语料训练。Baichuan 2 在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。它基于 Transformer 结构，在大约1.2万亿 tokens 上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。项目地址预训练模型modelscope硬件要求：NPU：8 x Ascend NPUsModelLink旨在为华为昇腾芯片。
torch-npu的安装
Seven
04-14 9871
【代码】torch-npu的安装。
华为昇腾服务器npu中安装paddle,pytorch等环境，训练代码迁移适配等问题记录
qq_29220369的博客
01-03 2992
参考文档：https://github.com/PaddlePaddle/PaddleCustomDevice/blob/develop/backends/npu/README_cn.md
昇腾平台LLM pytorch推理环境搭建
11-23 4639
当前用户下执行npu-smi info是否可以查看到gpu信息，如果不能，则表示驱动安装错误，需要在安装命令加上 --install-for-all。检查NPU是否正常在位可执行lspci | grep d802命令，如果服务器上有 N路NPU，回显N行含“d802”字段，则表示NPU正常在位。资源下载地址：https://www.hiascend.com/developer/download。通过执行npu-smi info命令查看。支持的PyTorch版本。支持的Adapter版本。
升腾910b 大模型docker部署
03-14
<think>好的，我现在需要帮助用户解决如何使用Docker部署基于昇腾910B的大模型的问题。首先，我得回忆一下昇腾910B的相关知识。昇腾是华为的AI处理器，910B应该是其中一款型号，常用于深度学习和大模型训练。Docker部署的话，通常需要配置合适的环境，包括驱动、固件、CANN工具包等。 用户提到了参考引用里的内容，特别是引用[2]和引用[3]。引用[2]提供了加载昇腾NPU环境变量和安装Python库的命令，这可能是在配置开发环境时的步骤。引用[3]看起来是昇腾社区的链接，可能包含驱动和固件的下载信息。 首先，部署Docker需要基础镜像，可能华为提供了包含昇腾支持的Docker镜像。然后，环境配置部分需要安装CANN工具包，设置环境变量，以及安装必要的Python库，如torch_npu、transformers等，这部分引用[2]已经提到。 接下来，用户可能需要构建自定义的Docker镜像，编写Dockerfile，包括基础镜像、安装依赖、复制代码、设置启动命令等步骤。此外，运行容器时需要挂载驱动和设备，确保容器能访问NPU设备，这可能涉及到--device参数和卷挂载。 验证部分需要检查CANN版本和NPU状态，可能用到npu-smi命令。同时，用户可能需要下载预训练的大模型，比如通过Hugging Face，并在代码中加载模型，使用NPU作为设备。 可能遇到的问题包括驱动版本不匹配、Docker权限问题、环境变量设置错误等，需要指导用户检查这些部分。 最后，生成的相关问题可能涉及昇腾的其他应用、性能优化、与其他框架的对比，以及常见错误的解决。需要确保这些问题与用户的需求相关，并且能够帮助他们进一步深入。 现在需要将上述思考整理成结构化的步骤，确保引用正确，并按照用户的要求使用中文，正确使用LaTeX格式，比如环境变量设置部分用行内公式，独立命令用代码块。同时，要检查引用标记的位置，自然地在相关步骤末尾添加[^2]或[^3]。</think>### 使用Docker部署基于昇腾910B的大模型教程 #### 1. **昇腾开发环境准备** - **安装驱动与固件** 访问昇腾社区下载与昇腾910B匹配的驱动和固件，确保NPU硬件可被系统识别。 - **安装CANN工具包** CANNAscend Computing Toolkit是昇腾AI处理器的异构计算架构，需安装与硬件兼容的版本。例如： ```bash wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/CANN/8.0.RC2.alpha002/Ascend-cann-toolkit_8.0.RC2.alpha002_linux-aarch64.run ./Ascend-cann-toolkit_*.run --install ``` #### 2. **配置Docker环境** - **获取昇腾基础镜像** 使用华为提供的昇腾Docker镜像作为基础环境： ```bash docker pull ascendhub.huawei.com/public-ascendhub/ascend-base:22.0.2 ``` - **编写Dockerfile** 创建自定义镜像，集成CANN工具和Python依赖： ```dockerfile FROM ascendhub.huawei.com/public-ascendhub/ascend-base:22.0.2 RUN source /usr/local/Ascend/ascend-toolkit/set_env.sh \ && pip install torch_npu transformers datasets accelerate peft # 引用[2] COPY ./app /app CMD ["python", "/app/main.py"] ``` #### 3. **运行容器并挂载设备** - **启动容器时绑定NPU设备** 通过`--device`参数将宿主机的NPU设备映射到容器内： ```bash docker run -it --rm \ --device=/dev/davinci0 \ # 假设NPU设备号为0 --volume /usr/local/Ascend/driver:/usr/local/Ascend/driver \ my-ascend-image ``` #### 4. **验证NPU可用性** - **在容器内执行检测命令** 使用`npu-smi`工具查看NPU状态： ```bash npu-smi info ``` - **测试PyTorch与NPU集成** 运行Python代码验证`torch_npu`是否正常： ```python import torch x = torch.randn(2, 2).npu() # 将张量迁移至NPU print(x.device) # 应输出npu:0 ``` #### 5. **部署大模型示例** - **加载Hugging Face模型** 使用昇腾适配的Transformers库加载模型： ```python from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("model_name").to("npu") ``` - **优化计算流程** 结合`torch_npu`的混合精度和算子优化提升性能[^2]。 --- ### 常见问题解决 - **NPU设备未识别** 检查`/dev/davinci*`设备权限，确保容器用户有访问权限。 - **CANN版本冲突** 确保宿主机的驱动版本与容器内的CANN工具包版本一致。 - **PyTorch报错** 使用`import torch_npu`后需调用`torch.npu.set_device(0)`初始化NPU上下文。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值