玩转大语言模型——昇腾NPU驱动固件以及CANN的安装(教你如何使用官方社区安装)

已于 2025-04-04 16:10:43 修改
阅读量214 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 玩转大语言模型 文章标签： 语言模型 人工智能 自然语言处理
于 2025-04-04 16:02:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DuLNode/article/details/146996940

系列文章目录

玩转大语言模型——使用langchain和Ollama本地部署大语言模型
玩转大语言模型——三分钟教你用langchain+提示词工程获得猫娘女友
玩转大语言模型——ollama导入huggingface下载的模型
玩转大语言模型——langchain调用ollama视觉多模态语言模型
玩转大语言模型——使用transformers中的pipeline调用huggingface中模型
玩转大语言模型——transformers微调huggingface格式的中文Bert模型
玩转大语言模型——使用GraphRAG+Ollama构建知识图谱
玩转大语言模型——完美解决GraphRAG构建的知识图谱全为英文的问题
玩转大语言模型——配置图数据库Neo4j（含apoc插件）并导入GraphRAG生成的知识图谱
玩转大语言模型——本地部署带聊天界面deepseek R1的小白教程

了解本专栏 订阅专栏 解锁全文 超级会员免费看
华为昇腾Ascend系列 之 03 如何查看服务器操作系统版本（教程含源码Ascend 910、Ascend 910B）
iCloudEnd的博客
06-03 1043
如何查看服务器操作系统版本。
华为昇腾Ascend系列 之 05 安装docker环境运行llama大模型进行推理（教程含源码Ascend 910、Ascend 910B）
iCloudEnd的博客
06-03 2267
本文主要向用户介绍基于Ascend 910 推理卡，快速完成昇腾NPU（Neural-Network Processing Unit，神经网络处理器单元）驱动固件、CANN（Compute Architecture for Neural Networks，AI异构计算架构）软件的安装，实现推理业务的上线。当前华为昇腾 910B 能力已经基本做到可对标英伟达 A100。
CANN版本为8.0.RC1.alpha002 安装指南
qq_45257495的博客
04-03 1818
参加原生创新算子挑战赛，需要基于CANN版本为8.0.RC1.alpha002进行Ascend C算子编写。其中表明CANN8.0.RC1.alpha002安装在/usr/local/Ascend目录下，这个地址对后面的Ascend C算子开发有很大作用，需要记住。不同的操作系统，CPU架构不一样，可以使用如下命令查看CPU架构是aarch64还是x86_64。安装过程大约需要15-20分钟。至此，环境安装成功。
昇腾NPU环境下ollama快速部署
weixin_42693022的博客
05-22 1250
第二步：下载leopony/ollama:latest镜像（适配NPU）*备注：如docker所在磁盘空间充裕，此步骤可忽略。# 创建宿主机缓存目录（确保所在分区有足够空间）第四步：进入容器，创建临时目录并设置权限。> "prompt": "你好"# 加载模型（需在服务启动后执行）第一步：创建ollama缓存目录。第五步：加载模型并运行。# 设置权限（可选）
快速安装/升级/卸载CANN/Ascend配套软件包
IT菜鸟
04-08 8456
快速安装/升级/卸载Ascend配套软件包
OrangePi 安装 CANN 套件及体验 AI 应用
繁依Fanyi的博客
06-05 1224
后续我会继续用这块板子开发别的有趣项目，请持续关注！
在Ubuntu22.04上安装华为CANN软件包
scccccc71的博客
03-19 638
在Ubuntu22.04上安装华为CANN软件包。
麒麟系统安装CANN开发环境
程序人生
08-27 4489
麒麟系统安装CANN开发环境 1. 更新麒麟系统 从麒麟公司获取，OS Patch包: V10SP1-aarch64-patch03-20201202.tar.gz， 解压缩到任意目录，如：/root/ [root@localhost ~]# ls -la 总用量 3181500 dr-xr-x--- 16 root root 4096 5月 28 16:36 . dr-xr-xr-x. 20 root root 282 5月 28 16:16 .. -rw-------
华为昇腾Ascend系列之06 昇腾NPU模型训练，PyTorch的模型迁移与训练流程，将在GPU上训练CNN模型识别手写数字的脚本代码进行修改（教程含源码Ascend 910、Ascend 910B
iCloudEnd的博客
06-03 1233
本文提供了一个简单的模型迁移样例，采用了最简单的自动迁移方法，帮助用户快速体验GPU模型脚本迁移到昇腾NPU上的流程，将在GPU上训练CNN模型识别手写数字的脚本代码进行修改，使其可以迁移到昇腾NPU上进行训练。
昇腾910B国产化大模型适配指南
热门推荐
qq_42751565的博客
06-01 1万+
华为910B国产化大模型训练环境安装指南，支持Huggingface模型以及DDP分布式训练框架。
大模型国产化适配10-快速迁移大模型到昇腾910B保姆级教程（Pytorch版）
强化学习曾小健
07-19 3179
本文演示了如何快速在昇腾910B上微调baichuan2/qwen1.5大模型，相对于Nvidia GPU来说，目前将大模型部署到910B，基本上不需要太多额外的改动即可完成。当然该方案可能会遇到某些算子瓶颈，导致性能很差，特别是在910A上面特别明显。此外，还有一些库并没有原生支持Ascend NPU，比如：bitsandbytes、Xformers 等。因此，在训练和微调时，会受到一些限制。
华为昇腾Ascend系列 之 04 安装开发环境hdk driver 与 firmware（教程含源码Ascend 910、Ascend 910B）
iCloudEnd的博客
06-03 1105
本文主要向用户介绍基于Ascend 910 推理卡，快速完成昇腾NPU（Neural-Network Processing Unit，神经网络处理器单元）驱动固件、CANN（Compute Architecture for Neural Networks，AI异构计算架构）软件的安装，实现推理业务的上线。安装开发环境hdk driver 与 firmware。
QA200RC CANN安装过程记录及错误记录
Smile@小女子的博客
02-28 465
安装记录
通过WSL2 Ubuntu18.04搭建CANN算子开发环境
绝世这天下的博客
08-29 2086
系统：windows10专业版CANN版本：社区版6.0.RC1.alpha002。
CANN6.2版本环境搭建、模型转换、yolov7部署
weixin_42140974的博客
12-19 1442
模型转换有两种方式，一种是命令行转换，一种是MindStudio转换。在昇腾官网下载社区版cann安装包，这里我下载的是.run安装包。（2）安装ubuntu 、anaconda、和一些依赖环境。安装之后，在安装相关依赖并创建conda虚拟环境。（3）完成以上环境安装，就可以安装cann。MindStudio加载模型。anaconda 下载地址。也可以直接命令行下载。安装python环境。
Atlas200安装CANN环境，安装Anaconda，安装MindStudio，.pt转.onnx，.onnx转换.om以及代码执行全套流程
sunshaisaa的博客
12-29 3360
华为昇腾Atlas200安装CANN环境，安装Anaconda,安装MindStudio,.pt转。onnx,.onnx转换。om以及代码执行全套流程
【技术干货】教你如何基于华为昇腾CANN架构快速实现模型推理应用
weixin_42780701的博客
03-08 2207
▍基于PyTorch框架的ResNet50模型，对*.jpg图片分类，输出各图片所属分类的编号、名称。样例的处理流程如下图所示：1 样例下载命令行方式下载(下载时间较长，需稍作等待)。# 开发环境，非root用户命令行中执行以下命令下载源码仓。cd ${HOME}cd ${HOME}注： 如果需要切换到其它tag版本，以v0.9.0为例，可执行以下命令。2 准备环境（1）安装CANN软件最新版本的CANN软件安装指南请戳→安装指南。
Ubuntu22.04系统 arm64虚拟机 安装cANN
qq_37075525的博客
09-22 1431
Ubuntu22.04 arm64虚拟机安装cANN
昇腾Atlas卡安装CANN【详细版】
mizhiakk的博客
04-17 1773
昇腾Atlas卡安装CANN【详细版】
Atlas300IDUO算力
最新发布
07-02
华为 Atlas 300I DUO 是一款面向边缘计算和高性能计算场景的加速卡，基于昇腾 AI 芯片打造，具备高效的算力输出能力。以下是其关键性能参数及特点： - **AI 算力**：Atlas 300I DUO 提供高达 22TOPS（INT8）的 AI 算力，适用于大规模深度学习推理任务，能够满足如图像识别、自然语言处理等高并发场景的需求[^1]。 - **内存配置**：该设备配备 64GB 的 LPDDR4x 内存，内存带宽达到 76.8GB/s，确保了在复杂模型加载与数据处理过程中的高效运行能力。 - **功耗设计**：Atlas 300I DUO 的典型功耗为 25W，在提供强劲算力的同时保持低功耗特性，适合部署于对能耗敏感的边缘侧环境[^1]。 - **接口规格**：采用 PCIe Gen4 x16 接口，提供高达 32Gbps 的传输速率，有效降低数据传输延迟，提升整体系统响应速度。 - **兼容性与扩展性**：支持主流 AI 框架如 TensorFlow、PyTorch 和 MindSpore，并可通过华为 CANN 异构计算架构实现灵活编程与算法迁移，适用于多种 AI 应用场景[^1]。 此外，Atlas 300I DUO 在实际应用中已验证其在 RagFlow、DeepSeek-R1 等模型部署与推理任务中的稳定性和性能表现，尤其在国产化软硬件适配方面展现出良好的生态兼容性[^2]。 ### 示例代码：使用 Docker 部署 AI 推理服务 以下是一个基于 Docker 的简单示例，展示如何部署一个依赖 Atlas 300I DUO 的 AI 推理服务： ```dockerfile # Dockerfile 示例 FROM ubuntu:20.04 # 安装必要的依赖 RUN apt-get update && \ apt-get install -y --no-install-recommends \ libgl1 \ libglib2.0-0 \ python3-pip \ && rm -rf /var/lib/apt/lists/* # 安装 Ascend 驱动与工具链 COPY ascend-toolkit /usr/local/ascend-toolkit # 设置环境变量 ENV LD_LIBRARY_PATH=/usr/local/ascend-toolkit/lib64:$LD_LIBRARY_PATH ENV PATH=/usr/local/ascend-toolkit/bin:$PATH # 安装 Python 依赖 COPY requirements.txt . RUN pip3 install -r requirements.txt # 启动推理服务 CMD ["python3", "inference_server.py"] ``` ```python # inference_server.py 示例 import numpy as np from acl_net import AclModel model = AclModel(model_path="deepseek_r1.om") input_data = np.random.rand(1, 3, 224, 224).astype(np.float32) output = model.execute([input_data]) print("推理结果：", output) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

艾醒(AiXing-w)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值