Jetson orin + ollama 使用QT 部署本地大模型(Qwen3 Deepseek)应用

    最近在网上看到一遍使用QT 跑大模型应用程序，大部分是window 系统x86 平台的搭建，需配合显卡驱动，

     为何尝试使用NVIDIA Jetson ORIN 平台搭建和部署本地大语言模型，认为Jetson Orin有优势，内置强大GPU处理器单元，合适大模型应用场景，默认使用ubuntu 22.04操作系统，缺少大模型可视化终端应用程序，QT开发应用程序简单，容易上手， 

     目前先跑一个大语言模型测试下，后续有时间在加入视觉大模型和多模态模型测试下，纯属个人工作之余兴趣。

    （1） 关于QT 在Jetson orin 平台安装，参考下我写的这篇文章

https://blog.youkuaiyun.com/zengwj2014/article/details/152336325?spm=1001.2014.3001.5502https://blog.youkuaiyun.com/zengwj2014/article/details/152336325?spm=1001.2014.3001.5502   （2）本地大模型的安装，参考如下

     https://blog.youkuaiyun.com/zengwj2014/article/details/146638433?spm=1001.2014.3001.5502https://blog.youkuaiyun.com/zengwj2014/article/details/146638433?spm=1001.2014.3001.5502

        安装ollama 和 deepseek ，阿里千问,ollama 国内网络不稳定，建议多下载几次

        curl -fsSL https://ollama.com/install.sh | sh

         安装deepseek

        ollama  run deepseek-r1:7b    

        安装阿里千问

          ollama run qwen3:8b

    下面测试界面：

    在聊天栏输入问题 验证，同步看下测试结果和对比运行性能参数，基本没有占有CPU 去运行，模型回答使用GPU 满负荷（100%）在计算

     如果对方面布局感兴趣的话，可联系英伟达边缘端 Jetson 产品中国区总代理- 中电港 进一步交流