昇腾平台LLM pytorch推理环境搭建

原创 已于 2024-08-21 14:38:49 修改 · 5.6k 阅读 · 42 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #人工智能 #python

于 2023-11-23 18:06:01 首次发布
本文介绍如何在昇腾平台上搭建针对LLM模型的PyTorch推理环境，包括基础环境配置、PyTorch及依赖安装步骤，并提供验证方法及示例代码。

【昇腾】LLM pytorch推理环境搭建

1.基础环境准备

资源下载地址：https://www.hiascend.com/developer/download
需要下载：
驱动
固件
cann
pytorch
pytorch_npu

python和pytorch的对应关系

PyTorch版本 Python版本
PyTorch1.11.0 Python3.7.x(>=3.7.5), Python3.8.x, Python3.9.x, Python3.10.x
PyTorch2.0.1 Python3.8.x, Python3.9.x, Python3.10.x
PyTorch2.1.0 Python3.8.x, Python3.9.x, Python3.10.x

检查NPU是否正常在位可执行lspci | grep d802命令，如果服务器上有 N路NPU，回显N行含“d802”字段，则表示NPU正常在位。

1.1 驱动安装
sh Ascend-hdk-910b-npu-driver_23.0.rc3_linux-aarch64.run --full --install-for-all
sh Ascend-hdk-910b-npu-firmware_6.4.0.4.220.run

通过执行npu-smi info命令查看

1.2 cann安装
sh Ascend-cann-nnrt_7.0.RC1_linux-aarch64.run

安装成功确认
cat /usr/local/Ascend/ascend-toolkit/latest/aarch64-linux/ascend-toolkit_install.info

2. 安装pytorch

2.1 安装pytorch

aarch64:

pip install torch==2.1.0
2.2 安装依赖
pip3 install pyyaml
pip3 install setuptools
2.3 安装pytorch-npu
pip3 install torch-npu==2.1.0rc1

3.验证

3.1 设置环境变量
# Default path, change it if needed.
source /usr/local/Ascend/ascend-toolkit/set_env.sh

查看状态

python3 -c "import torch;import torch_npu;print(torch_npu.npu.is_available())"
#如果为false，则需要进行迁移

#自动映射cuda API到npu的代码
from torch_npu.contrib import transfer_to_npu
print(torch_npu.npu.is_available())
print(torch_npu.cuda.is_available())

#True
#True
3.2 代码验证
import torch
import torch_npu

x
最低0.47元/天 解锁文章
华为Ascend_toolkit在x86ubuntu安装失败报错。[WARNING] driver package is not installed. If you install in docker
anananajiushiwo的博客
01-20 880
这个报错发生在交叉编译配置Ascend_toolkit环境时，安装Ascend_toolkit安装包的时候发生。[Y/N]Y。
华为昇腾NPU卡 大模型LLM ChatGLM2模型推理使用
weixin_42357472的博客
10-23 4628
参考：https://gitee.com/mindspore/mindformers/blob/dev/docs/model_cards/glm2.md#chatglm2-6b安装环境：昇腾NPU卡对应英伟达GPU卡，CANN对应CUDA底层；mindspore对应pytorch；
昇腾CANN应用的运行环境部署
sjjsaaaa的博客
03-31 7567
晟腾CANN应用的运行环境部署 整体步骤是：Driver——nnrt——Toolkit——MindStudio 首先我们用Ubuntu 18.04，对CANN的环境进行部署，可以去华为云租，自己有的话也可以使用自己的。 1、准备操作 这里我使用了MobaXterm9进行远程连接。 连接上以后添加用户HuHiAiUser用户并设置密码。 查看用户：cat /etc/passwd 应该显示这样得。如果是sh结尾，应该改成bash。。。vi /etc/passwd 也可以修改密码：passwd HuHiAiU
如何在华为 Ascend 设备上运行模型
qq_42693842的博客
06-20 1155
启动镜像, 可能需要等待一段时间 (我也不懂什么jb镜像在x86启动也要这么久)原因是缺少工具update-rc.d和chkconfig |, 两个选择 要么自己写算子 要么更新驱动。若出现上面的log 则表示环境配置成功。转化成功, 但是盒子的驱动版本是。驱动更新失败了, 推理先告一段落。但是盒子上没有apt, tmd…: 该文档以resnet50为例。后面这些没必要看了 个人笔记。不到1G的镜像, 但是没有。老样子, 设置环境变量。
GitCode × 昇腾 NPU：vLLM 推理框架性能实测分析指南
最新发布
鱼干的博客
11-07 2万+
项目vLLM推理延迟 (Batch=1)0.27 s0.19 s702.5763.1显存占用30 GB28 GB稳定性无波动无波动缓存复用不支持支持（节省25%时间）vLLM 在昇腾 910B 上稳定运行，无需额外编译或算子修改。Continuous Batching + KV Cache 带来约 10% 吞吐提升25% 延迟下降。显存利用率更优，资源占用更平衡。本次评测验证了vLLM 框架在昇腾 NPU 平台的可行性与性能优势。
昇腾torch-npu离线包(torch2.1.0)
12-12
昇腾torch_npu离线包(torch2.1.0)v5.0，包含x86_64和aarch64两个架构，根据运行平台使用。
昇腾AI入门课（PyTorch）
weixin_38771145的博客
02-22 3156
当前阶段，PyTorch框架与昇腾AI处理器进行了在线对接适配。方案特性及优点昇腾AI处理器的加速实现方式是以算子为粒度进行调用（OP-based），即通过Ascend Computing Language（AscendCL）调用一个或几个亲和算子组合的形式，代替原有GPU的实现方式。其逻辑模型如图1所示。最大限度的继承PyTorch框架动态图的特性。最大限度的继承GPU在PyTorch上的使用方式，可以使用户在将模型移植到昇腾AI处理器设备进行训练时，在开发方式和代码重用方面做到最小的改动。
AI开发者必备！史上最适合新手的昇腾AI环境搭建教程！
m0_71340392的博客
08-03 607
AI新手速成！本期视频将全流程演示如何在Altas 300I推理卡上搭建CANN开发环境，教你轻松搭建昇腾环境，玩转AI，畅享AI开发者的无限乐趣！
主流开源大模型基于Server适配PyTorch NPU推理指导- 推理场景介绍
2403_89344729的博客
11-28 2052
本教程需要使用到的AscendCloud-6.3.910中的AscendCloud-LLM-xxx.zip软件包和算子包AscendCloud-OPP，AscendCloud-LLM关键文件介绍如下。├── ascend_autosmoothquant_adapter # 昇腾量化使用的算子模块。├── ascend_vllm-0.6.0-py3-none-any.whl # 推理安装包。├── vllm_install.patch # 社区昇腾适配的补丁包。
Ascend推理组件MindIE LLM
xyz3120的专栏
11-08 1452
是MindIE解决方案下的大语言模型推理组件，基于昇腾硬件提供业界通用大模型推理能力，同时提供多并发请求的调度功能，支持Continuous Batching、PageAttention、FlashDecoding等加速特性，使能用户高性能推理需求。MindIE LLM主要提供大模型推理。
【AI系统】昇腾推理引擎 MindIE
ZOMI酱
12-04 3098
MindIE（Mind Inference Engine，昇腾推理引擎）是华为昇腾针对 AI 全场景业务的推理加速套件。通过分层开放 AI 能力，支撑用户多样化的 AI 业务需求，使能百模千态，释放昇腾硬件设备算力。支持多种主流 AI 框架，提供多层次编程接口，帮助用户快速构建基于昇腾平台的推理业务。业界标准 RPC 接口高效对接业务层，支持 Triton 和 TGI 等主流推理服务框架，实现小时级应用部署。
极智AI | 昇腾开发环境搭建 CANN & MindStudio (无坑版)
极智视界
11-23 1578
大家好，我是极智视界，本文介绍一下 昇腾开发环境搭建 CANN & MindStudio，没有坑。
昇腾大模型推理解决方案MindIE部署
深蓝
09-20 1万+
昇腾大模型推理解决方案MindIE部署笔记，并且分享给大家
华为Ascend昇腾适配PyTorch框架
IT菜鸟
02-19 9592
通常，开发者基于PyTorch框架开发的AI模型不能直接在昇腾AI处理器上运行（训练和推理），即运行在GPU上的PyTorch模型不能平滑迁移到昇腾AI处理器上运行。为此，本教程用于昇腾适配PyTorch框架，为使用PyTorch框架的开发者提供昇腾AI处理器的超强算力。PyTorch安装指南PyTorch Adapter插件，用于昇腾适配PyTorch框架，为使用PyTorch框架的开发者提供昇腾AI处理器的超强算力。
基于Pytorch+昇腾NPU部署baichuan2-7B大模型
XD的博客
04-02 5229
Baichuan 2 是百川智能推出的新一代开源大语言模型，采用2.6 万亿Tokens 的高质量语料训练。Baichuan 2 在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。它基于 Transformer 结构，在大约1.2万亿 tokens 上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。项目地址预训练模型modelscope硬件要求：NPU：8 x Ascend NPUsModelLink旨在为华为昇腾芯片。
【人工智能】华为昇腾NPU-Vllm Ascend部署及镜像制作
静待花开时，终有重逢日。
07-14 2303
本文介绍了两种在华为昇腾NPU上部署vLLM推理服务的方法：1）通过源码构建npu版vllm镜像，详细说明了vllm-ascend的安装步骤、模型测试方法及服务启动命令；2）使用官方预构建的vllm-ascend镜像，提供完整的容器启动脚本和API测试示例。文章包含LLM和Embedding模型的完整部署方案，涉及Dockerfile编写、启动脚本配置、一键部署脚本以及Python API调用代码，支持单问题和批量请求测试，适用于Qwen2.5-72B-Instruct和BGE-M3等模型的昇腾NPU推理场
基于Pytorch+昇腾NPU开发大模型指导
santanan的博客
08-20 6108
文章介绍了如何使用Pytorch框架+昇腾NPU更好的开发大模型
昇腾，Ascend，NPU，mindie，镜像，部署vllm：第4篇，尝试多模态大模型部署（Qwen2-vl）
xiezhipu的博客
02-10 2972
一直想部署一个多模态大模型，今天就以Qwen2-vl为例尝试一番吧。（当然是在昇腾环境下）提示：需要把这篇文章先看一遍昇腾，mindie，镜像，部署vllm：第2篇，启动mindieservice_daemon服务，支持对Qwen2.5的7B版本的推理提示：本文章的撰写思路是，按照一个思路进行部署，报错，并反思，并解决。所以不太适合直接上来就跟着一步一步做。建议看完全文，再根据自己的理解做。
PyTorch与昇腾平台：Stable Diffusion 2.1 模型迁移实践
daimakezhan_cn_f的博客
06-09 619
https://gitee.com/ascend/ModelZoo-PyTorch/blob/master/PyTorch/built-in/diffusion/stablediffusion-2.1StableDiffusion 是 StabilityAI公司于2022年提出的图片生成的预训练模型，论文和代码均已开源，下游任务包括文生图、图生图、图片压缩等等 适配昇腾 AI 处理器的实现： 准备环境 准备环境 当前模型支持的 PyTorch 版本和已知三方库依赖如下表所示。 表 1 版本支持表请
pytorch 搭建LLM
03-19
### 如何使用 PyTorch 构建大型语言模型 (LLM) 构建一个具有百万参数的大规模语言模型是一项复杂的任务，涉及多个阶段的设计与实现。以下是关于如何利用 PyTorch 来完成这一目标的关键要点。 #### 安装依赖项 为了开始构建 LLM，首先需要安装必要的库和工具链。可以通过 `pip` 命令来安装所需的包[^2]： ```bash pip install torch torchvision torchaudio pip install --extra-index-url https://download.pytorch.org/whl/test/cu118 llama-recipes ``` 这些命令会帮助设置环境并引入支持大规模训练的基础组件。 #### 数据准备 数据集的选择对于任何机器学习项目都至关重要。在构建 LLM 的过程中，通常会选择大量文本语料作为输入源。常见的做法是从公开可用的数据集中提取信息，比如 Wikipedia 或 Common Crawl。预处理步骤可能包括但不限于分词、清洗以及转换成适合神经网络消费的形式[^1]。 #### 模型架构设计 现代 LLM 大多基于 Transformer 结构，这种结构能够有效捕捉序列中的长期依赖关系。具体来说： - **编码器解码器模式**: 如果计划开发双向理解能力，则可以考虑采用标准的 Encoder-Decoder 配置。 - **仅解码器变体**: 对于生成式应用而言，“decoder-only”版本更为常见，因为它允许更高效的前向传播计算路径。 这里提供了一个简单的单层 transformer 实现框架供参考: ```python import torch.nn as nn class SimpleTransformer(nn.Module): def __init__(self, vocab_size, d_model=512, nhead=8, num_layers=6): super(SimpleTransformer, self).__init__() self.embedding = nn.Embedding(vocab_size, d_model) self.transformer = nn.Transformer(d_model=d_model, nhead=nhead, num_encoder_layers=num_layers, num_decoder_layers=num_layers) def forward(self, src, tgt): embedded_src = self.embedding(src) embedded_tgt = self.embedding(tgt) output = self.transformer(embedded_src.permute(1,0), embedded_tgt.permute(1,0)) return output.permute(1,0) ``` 此代码片段定义了一种基础形式的变压器类，其中包含了嵌入层和核心变换操作部分。 #### 训练过程管理 一旦完成了上述准备工作之后就可以着手进行实际训练环节了。这一步骤涉及到损失函数设定、优化算法挑选等方面的内容。例如，在很多情况下人们倾向于选用交叉熵作为衡量预测效果好坏的标准；而 AdamW 则是一种广泛应用于深度学习领域内的自适应梯度下降方法之一。 另外值得注意的是，在面对超大尺寸模型的时候还需要特别关注内存分配策略等问题——通过调整 batch size 参数大小或者启用 gradient checkpointing 技术等方式可以在一定程度上缓解显存压力。 #### 测试评估性能表现 最后当整个流程结束以后应当针对测试集合执行推理动作进而获取最终成果展示出来给用户看。同时也可以借助一些指标如 perplexity 等进一步量化分析所得结果的质量水平。 ---
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值