玩转大语言模型——昇腾NPU驱动固件以及CANN的安装(教你如何使用官方社区安装)

已于 2025-04-04 16:10:43 修改
阅读量501 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 玩转大语言模型 文章标签： 语言模型 人工智能 自然语言处理
于 2025-04-04 16:02:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/DuLNode/article/details/146996940

系列文章目录

玩转大语言模型——使用langchain和Ollama本地部署大语言模型
玩转大语言模型——三分钟教你用langchain+提示词工程获得猫娘女友
玩转大语言模型——ollama导入huggingface下载的模型
玩转大语言模型——langchain调用ollama视觉多模态语言模型
玩转大语言模型——使用transformers中的pipeline调用huggingface中模型
玩转大语言模型——transformers微调huggingface格式的中文Bert模型
玩转大语言模型——使用GraphRAG+Ollama构建知识图谱
玩转大语言模型——完美解决GraphRAG构建的知识图谱全为英文的问题
玩转大语言模型——配置图数据库Neo4j（含apoc插件）并导入GraphRAG生成的知识图谱
玩转大语言模型——本地部署带聊天界面deepseek R1的小白教程

了解本专栏 订阅专栏 解锁全文 超级会员免费看
华为昇腾Ascend系列 之 05 安装docker环境运行llama大模型进行推理（教程含源码Ascend 910、Ascend 910B）
iCloudEnd的博客
06-03 3182
本文主要向用户介绍基于Ascend 910 推理卡，快速完成昇腾NPU（Neural-Network Processing Unit，神经网络处理器单元）驱动固件、CANN（Compute Architecture for Neural Networks，AI异构计算架构）软件的安装，实现推理业务的上线。当前华为昇腾 910B 能力已经基本做到可对标英伟达 A100。
华为昇腾Ascend系列之06 昇腾NPU模型训练，PyTorch的模型迁移与训练流程，将在GPU上训练CNN模型识别手写数字的脚本代码进行修改（教程含源码Ascend 910、Ascend 910B
iCloudEnd的博客
06-03 1560
本文提供了一个简单的模型迁移样例，采用了最简单的自动迁移方法，帮助用户快速体验GPU模型脚本迁移到昇腾NPU上的流程，将在GPU上训练CNN模型识别手写数字的脚本代码进行修改，使其可以迁移到昇腾NPU上进行训练。
CANN安装
当 AI 开始写文章、绘星空，甚至预测未来，您还在旁观吗？这里将剖开人工智能的思考逻辑，拆解 AI 创作的底层密码，也聊聊人工智能里的人文温度。每篇都有让你拍案的细节，快来解锁 AI 时代的神奇世界！
08-23 1052
如果用户未指定安装路径，则软件会安装到默认路径下，默认安装路径如下。如果用户未指定安装路径，则软件会安装到默认路径下，默认安装路径如下。参数，校验软件包的一致性和完整性，出现如下回显信息，表示软件包校验成功。参数，校验软件包的一致性和完整性，出现如下回显信息，表示软件包校验成功。参数，校验软件包的一致性和完整性，出现如下回显信息，表示软件包校验成功。加速库安装之前，需已安装同一版本的Toolkit并配置环境变量。如需单独安装SiP加速库或ATB加速库的C++库，安装时需添加。执行安装命令时，会自动执行。
快速安装/升级/卸载CANN/Ascend配套软件包
IT菜鸟
04-08 1万+
快速安装/升级/卸载Ascend配套软件包
昇腾平台DeepSeek模型搭建
最新发布
bxqzsh的博客
10-25 626
与普通的对话系统不同，案例中通过提示词来设立Agent的角色和行为模式，Agent不仅仅是一个简单的问答工具，而是一个具有特定角色身份和任务目标的智能体。"副作用": "可能出现的副作用有外周水肿（外周水肿与剂量相关，服用120片/日时发生率为4.8%，服用240片/日则为12.8%）、头晕、头痛、脸红、心悸、乏力、恶心等","注意事项": "用药3 - 7天，症状未缓解，请咨询医师或药师；"副作用": "可见头晕、头痛、嗜睡、易激动、嗳气、食欲缺乏、便秘、恶心、皮肤过敏等，但不影响疗效。
OrangePi 安装 CANN 套件及体验 AI 应用
繁依Fanyi的博客
06-05 1462
后续我会继续用这块板子开发别的有趣项目，请持续关注！
在Ubuntu22.04上安装华为CANN软件包
scccccc71的博客
03-19 1100
在Ubuntu22.04上安装华为CANN软件包。
麒麟系统安装CANN开发环境
程序人生
08-27 4816
麒麟系统安装CANN开发环境 1. 更新麒麟系统 从麒麟公司获取，OS Patch包: V10SP1-aarch64-patch03-20201202.tar.gz， 解压缩到任意目录，如：/root/ [root@localhost ~]# ls -la 总用量 3181500 dr-xr-x--- 16 root root 4096 5月 28 16:36 . dr-xr-xr-x. 20 root root 282 5月 28 16:16 .. -rw-------
大模型国产化迁移大模型到昇腾教程（Pytorch版）
01-03 1862
大模型国产化适配10-快速迁移大模型到昇腾910B保姆级教程（Pytorch版）
昇腾910B国产化大模型适配指南
热门推荐
qq_42751565的博客
06-01 1万+
华为910B国产化大模型训练环境安装指南，支持Huggingface模型以及DDP分布式训练框架。
升腾910b 大模型docker部署
03-14
引用[2]提供了加载昇腾NPU环境变量和安装Python库的命令，这可能是在配置开发环境时的步骤。引用[3]看起来是昇腾社区的链接，可能包含驱动和固件的下载信息。 首先，部署Docker需要基础镜像，可能华为提供了包含...
CANN版本为8.0.RC1.alpha002 安装指南
qq_45257495的博客
04-03 2489
参加原生创新算子挑战赛，需要基于CANN版本为8.0.RC1.alpha002进行Ascend C算子编写。其中表明CANN8.0.RC1.alpha002安装在/usr/local/Ascend目录下，这个地址对后面的Ascend C算子开发有很大作用，需要记住。不同的操作系统，CPU架构不一样，可以使用如下命令查看CPU架构是aarch64还是x86_64。安装过程大约需要15-20分钟。至此，环境安装成功。
昇腾Atlas卡安装CANN【详细版】
mizhiakk的博客
04-17 3564
昇腾Atlas卡安装CANN【详细版】
QA200RC CANN安装过程记录及错误记录
Smile@小女子的博客
02-28 530
安装记录
Ascend NPU 硬件架构入门
AI Infra / LLM / 软件开发
08-31 1万+
昇腾 NPU 是专门用于 AI 训练/推理计算的 AI 专用处理器，其中的 AI Core 能够在很大程度上提高 AI 计算的效率。本文将主要介绍 ASCEND NPU 的硬件架构 & 工作原理、AI Core 的计算模式以及异构计算平台 CANN 等内容。
通过WSL2 Ubuntu18.04搭建CANN算子开发环境
绝世这天下的博客
08-29 2237
系统：windows10专业版CANN版本：社区版6.0.RC1.alpha002。
深度学习篇---昇腾NPU&CANN 工具包
道阻且长，行则将至。
07-11 1429
摘要：华为昇腾NPU采用达芬奇架构，集成AICore计算单元、8MB L2Cache和混合指令集，提供高效AI计算能力。CANN工具包是昇腾AI处理器的异构计算架构，包含GE图引擎、AscendC算子语言等核心组件，支持主流AI框架并优化模型性能。在PyTorch中部署模型需安装CANN和PyTorch-NPU扩展，通过设备切换、混合精度等技术实现NPU加速，需注意数据类型兼容性和算子支持。该方案为AI应用提供了高性能计算平台。
CANN6.2版本环境搭建、模型转换、yolov7部署
weixin_42140974的博客
12-19 1763
模型转换有两种方式，一种是命令行转换，一种是MindStudio转换。在昇腾官网下载社区版cann安装包，这里我下载的是.run安装包。（2）安装ubuntu 、anaconda、和一些依赖环境。安装之后，在安装相关依赖并创建conda虚拟环境。（3）完成以上环境安装，就可以安装cann。MindStudio加载模型。anaconda 下载地址。也可以直接命令行下载。安装python环境。
华为昇腾Ascend系列 之 03 如何查看服务器操作系统版本（教程含源码Ascend 910、Ascend 910B）
iCloudEnd的博客
06-03 1347
如何查看服务器操作系统版本。
RK3588 安装rk——npu驱动
04-28
<think>好的，我现在需要帮助用户解决关于RK3588设备安装rk-npu驱动的教程问题。首先，我需要回顾用户提供的引用内容，确保信息准确。根据引用[^1]，NPU驱动的组成包括驱动版本、rknn_server、librknn_runtime以及RKNN Toolkit的版本对应关系。用户提到的出厂系统rknn_server版本是1.7.0，而最新的是1.7.3，可能需要更新。 用户当前的问题是寻找安装rk-npu驱动的指南。首先，我应该分步骤说明安装流程。可能需要从准备工作开始，比如检查当前驱动版本，确认是否需要更新。引用中提到用dmesg命令查询NPU驱动版本，所以第一步可以指导用户如何检查现有驱动。 接下来，可能需要安装或更新驱动。根据RK的常见做法，可能需要下载官方提供的驱动包，通过脚本安装。这里需要确保用户获取正确的资源，比如从Rockchip官网或GitHub仓库下载。同时，要注意版本兼容性，引用中强调版本对应的重要性，所以安装过程中要确认各个组件的版本匹配，比如RKNN Toolkit与驱动版本一致。 然后，安装rknn_server和librknn_runtime。引用中提到rknn_server作为后台服务，可能需要通过adb或scp将文件传输到开发板，并设置权限。同时，运行服务可能需要使用systemctl命令来启动和启用服务。 验证安装部分，用户可能需要检查各个组件的版本是否更新成功，例如再次运行dmesg和版本查询命令。此外，测试RKNN模型推理可以确保驱动正常工作，这里可能需要用户运行示例代码或自己的模型。 在注意事项中，需要提醒用户备份系统，注意权限问题，以及版本兼容性。特别是如果用户使用自定义系统，可能需要更多配置。 最后生成相关问题，考虑用户可能的后续问题，比如驱动更新失败如何处理，版本兼容性检查工具，rknn_server启动失败的原因，以及如何交叉编译驱动。这些问题都是用户安装后可能遇到的，需要提前准备解答。 整个过程中，需要确保步骤清晰，命令准确，并且引用相关部分来支持指导，比如版本查询命令和组件作用。同时，使用中文回答，避免技术术语过于复杂，让用户容易理解。</think>### RK3588 rk-npu 驱动安装教程 #### 一、准备工作 1. **确认开发板系统版本** 确保开发板已烧录支持NPU功能的系统镜像（如ATOM-3588系列出厂系统或官方推荐版本）[^1]。 2. **获取驱动文件** 从Rockchip官网或GitHub仓库下载以下组件： - NPU驱动包（如 `galcore-driver-xxx.tar.gz`） - `rknn_server`（版本需与驱动匹配，推荐1.7.3+） - `librknn_runtime`（如 `librknn_runtime.so`） - RKNN Toolkit（PC端模型转换工具，版本与驱动一致） --- #### 二、安装NPU驱动 1. **安装内核驱动** 将NPU驱动包解压后，通过以下命令编译安装： ```bash tar -xzvf galcore-driver-xxx.tar.gz cd galcore-driver/ make -j4 sudo make install sudo depmod -a sudo modprobe galcore # 加载驱动模块 ``` 2. **验证驱动加载** 执行命令检查驱动版本： ```bash dmesg | grep -i galcore # 输出应包含类似"galcore: driver version: 6.4.6.3" ``` --- #### 三、部署rknn_server与librknn_runtime 1. **安装rknn_server** 将预编译的 `rknn_server` 可执行文件复制到开发板 `/usr/bin/` 目录： ```bash sudo cp rknn_server /usr/bin/ sudo chmod +x /usr/bin/rknn_server ``` 2. **配置系统服务** 创建服务文件 `/etc/systemd/system/rknn_server.service`： ```ini [Unit] Description=RKNN Server Daemon [Service] ExecStart=/usr/bin/rknn_server Restart=always [Install] WantedBy=multi-user.target ``` 启动服务： ```bash sudo systemctl daemon-reload sudo systemctl start rknn_server sudo systemctl enable rknn_server ``` 3. **安装librknn_runtime** 将 `librknn_runtime.so` 和 `librknn_api.so` 复制到 `/usr/lib/`： ```bash sudo cp librknn_*.so /usr/lib/ sudo ldconfig # 更新动态库缓存 ``` --- #### 四、验证安装 1. **检查组件版本** - **rknn_server版本**： ```bash rknn_server --version # 输出类似"rknn_server version 1.7.3" ``` - **librknn_runtime版本**： ```bash strings /usr/lib/librknn_runtime.so | grep "librknn version" ``` 2. **运行示例推理** 使用RKNN Toolkit转换后的模型文件进行测试： ```python from rknnlite.api import RKNNLite rknn = RKNNLite() ret = rknn.load_rknn('model.rknn') ret = rknn.init_runtime() # 执行推理... ``` --- #### 五、注意事项 1. **版本兼容性** 确保NPU驱动、rknn_server、librknn_runtime与RKNN Toolkit版本严格匹配[^1]。 2. **权限问题** 若使用非root用户，需将用户加入 `video` 组：`sudo usermod -aG video $USER` 3. **故障排查** - 驱动加载失败：检查内核日志 `dmesg | grep galcore` - rknn_server未启动：执行 `systemctl status rknn_server` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

艾醒(AiXing-w)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值