开发板部署|RK3588部署DeepSeek-1.5B

闻道且行之

已于 2025-02-18 16:57:24 修改

阅读量1.3k

点赞数 18

分类专栏： nlp大模型文章标签： deepseek 自然语言处理深度学习 rk3588

于 2025-02-18 16:01:36 首次发布

本文链接：https://blog.youkuaiyun.com/qq_29676069/article/details/145706670

版权

nlp大模型专栏收录该内容

8 篇文章

订阅专栏

前言

在 RK3588 上部署大模型可以显著提升计算效率、节能、加速推理过程，并实现本地化推理，适合各种边缘计算应用，如智能设备、自动驾驶、工业机器人、健康监测等领域。此外，RK3588 配备了强大的 NPU（神经网络处理单元），可以加速深度学习推理过程。通过在 RK3588 上部署大模型，NPU 能够显著提高模型推理速度，减少推理时间，尤其在进行实时推理时十分重要。

1.部署方式

现有我知道的部署方式有两种，一是利用ollama去部署，二是使用rknn官方代码库去部署，前者使用cpu，后者使用npu，先说结论两者token速度相差不大。
废话少说，下面分享部署过程。

1.1 利用ollama部署

这里就不多说了，因为之前写过一篇利用ollama部署deepseek的文章，这里就不赘述，直接甩命令:

# 下载并安装ollama
curl -fsSL https://ollama.com/install.sh | sh

# 下载deepseek-1.5b
ollama pull deepseek-r1:1.5b

# 运行deepseek
ollama run deepseek-r1:1.5b

运行之后可以看到,cpu的占用几乎满了:
!](https://i-blog.csdnimg.cn/direct/7baeb6d85731463fa30e30e6f8cb1a4f.png)

watch sudo cat /sys/kernel/debug/rknpu/load

查看一下npu的占用率,根本没动:
在这里插入图片描述

1.2 官方代码库部署

1.2.1 安装依赖(x86_64机器)

conda create -n rkllm python=3.10
conda activate rkllm
pip install rkllm_toolkit-1.1.4-cp310-cp310-linux_x86_64.whl

这里的rkllm_toolkit安装包可以去这里下载：rknn-llm，如果嫌下载慢可以私信问我要。

1.2.2 下载模型及转换模型(x86_64机器)

下载项目地址:rknn-llm

下载模型地址:
DeepSeek-R1-Distill-Qwen-1.5B

cd examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/export/
python export_rkllm.py

转换之前记得修改你的模型路径：
在这里插入图片描述
转换之后地模型后缀为rkllm。

1.2.3 编译运行代码(x86_64机器)(可选)

①先下载下载交叉编译工具链 gcc-arm-10.2-2020.11-x86_64-aarch64-none-linux-gnu
这里多说一句，交叉编译工具链的作用是是为了在x86_64平台下编译arrch平台下能够执行的文件。

②修改examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/deploy/build-linux.sh中GCC_COMPILER_PATH的路径:
在这里插入图片描述

③开始编译:

cd examples/DeepSeek-R1-Distill-Qwen-1.5B_Demo/deploy/
bash build-linux.sh

如图所示，编译之后所需库和可执行文件在deploy/install/demo_Linux_aarch64/目录下:
在这里插入图片描述

1.2.4 直接下载编译好的代码(x86_64机器)(可选)

如果不想自己编译代码，这里有编译好的代码:

git clone https://www.modelscope.cn/radxa/DeepSeek-R1-Distill-Qwen-1.5B_RKLLM.git

注:1.2.3和1.2.4必选其中一个

1.2.5 运行代码(RK3588)

将转化模型和代码复制到rk3588后，执行以下命令:

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:./lib
export RKLLM_LOG_LEVEL=1
./llm_demo DeepSeek-R1-Distill-Qwen-1.5B.rkllm 10000 10000

这里可以看到，cpu的利用率下去了：
在这里插入图片描述
每个npu的占用率大概在30%-40%之间:

参考

RKLLM DeepSeek-R1
这里推荐一个网站,在Hugging Face下不下来的模型可以在这里下载！！魔搭社区

总结

本文介绍了两种在RK3588上部署deepseek-1.5b的方法,虽然两种方法的token是差不多的，但是我还是推荐使用npu的方法去推理大模型，后续会继续测试deepseek中更大参数体量的模型，测试一下rk3588的极限在哪里。