RT-Thread虚拟化部署DeepSeek大模型实践

背景介绍

---

随着边缘计算与实时智能需求的快速增长，如何在资源受限的嵌入式设备上同时满足实时控制与AI推理能力成为技术热点。本文以ROCK 5B开发板为开发平台（搭载4核Cortex-A76 + 4核Cortex-A55，8GB LPDDR4），通过虚拟化技术实现虚拟化Linux+RTOS混合部署，并在Linux环境中部署轻量化大语言模型DeepSeek-1.5B+语音转文字模型，实现实时语音对话大模型功能，探索实时控制与AI推理的融合方案。

vmRT-Thread

---

vmRT-Thread是一个基于虚拟化技术的嵌入式软件集成开发平台，使得在高性能嵌入式设备上开发同时具备高实时性、高安全性和高复杂度的应用更简单和高效。整体系统架构如下：

1、实时/安全虚拟机（RVM/SVM，Realtime/Safety Virtual Machine） – 运行要求高实时性、或符合功能安全要求的应用，可以使用RT-Thread API或POSIX（PSE51）API，底层操作系统使用标准版ASIL-D认证版的RT-Thread或RT-Thread Smart；

2、管理虚拟机（MVM，Management Virtual Machine） - 运行高级管理服务（比如：复杂的监控、升级和日志等功能）和虚拟外设服务（比如：网络、存储、图形和图像等外设的虚拟化共享），如果没有这些功能则不需此虚拟机，可使用Linux、RT-Thread或RT-Thread Smart操作系统；普通虚拟机（NVM，Normal Virtual Machine） – 运行多媒体和人工智能等复杂应用，可以使用Android API或POSIX