Jetson Orin NX使用 Ollama 本地部署 deepseek

已于 2025-03-26 21:03:09 修改
阅读量447 收藏 2
点赞数 9
文章标签： 人工智能
于 2025-03-24 22:51:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Flag_ing/article/details/146487832
版权

本文记录在 jetson orin nx 上使用 ollama 部署 deepseek 的过程

有用的网站及工具

  1. NVIDIA Jetson AI Lab
  2. Ollama官网
  3. Jtop 工具 ==> 用以查看jetson GPU/CPU/Memory 等占用情况的工具，安装过程如下：
sudo apt-get install python3-pip
sudo -H pip3 install -U jetson-stats
  1. Nvidia 官网的 Ollama 教程
  2. 安装 Ollama
curl -fsSL https://ollama.com/install.sh | sh

进入Ollama官网，点击 Deepseek-R1 进入 Deepseek 界面：https://ollama.com/library/deepseek-r1:1.5b
在这里插入图片描述
执行指令，会先下载模型库到本地
在这里插入图片描述

在 Jetson Orin Nano 超级设备上使用 NanoOWL 进行实时物体检测
iCloudEnd的博客
02-09 105
在人工智能和机器人领域，实时物体检测在使自主系统能够与环境交互方面起着至关重要的作用。在本博客中，我们将探讨如何在 NVIDIA Jetson Nano Super 设备上设置和使用带有 TensorRT 的 NanoOWL 视觉编码器，并使用 ROS2 和 Isaac Sim 实时检测和分类物体。随着人工智能系统越来越多地嵌入机器人、自动驾驶汽车和智能制造领域，对快速高效的物体检测模型的需求也日益增加。
用 NVIDIA Jetson 创建 Phi3 聊天机器人
chenjambo的博客
04-30 1308
在 NVIDIA Jetson Xavier NX 上结合微软 Phi3 模型，创建专属的AI对话机器人
在 Jetson 上部署 DeepSeek-R1教程
weixin_44499748的博客
02-05 4692
DeepSeek-R1 模型大小：不同参数版本（如 1.5B、7B、14B 等）对内存、存储及 GPU 要求不同。NVIDIA 驱动与 CUDA：确保已正确安装 NVIDIA 驱动、CUDA 以及相关的 GPU 加速库（如 TensorRT），以便模型能充分利用 Jetson 的 GPU 加速能力。Open WebUI 是一种用于运行和管理大型语言模型的多功能，基于浏览器的接口（LLMs ）在本地，为Jetson开发人员提供了一个直观的平台来尝试LLMs在他们的设备上。或者使用dockers。
【亲测！】Jetson Orin NX 16GB部署本地Ollama大模型
m0_72906461的博客
12-18 4226
记录Jetson Orin NX 16GB部署本地Ollama大模型过程（以LLAMA3.2 1B为例）
jetson nano 4G 版本安装ollama.cpp，GPU版本！Qwen3
weixin_46466484的博客
02-22 828
这个可能是你能看到的唯一使用jetson nano 4G 版本安装llama，GPU版本的Qwen3教程
本地AI助手：在Seeed Studio reComputer Jetson设备上部署Ollama和AnythingLLM
m0_53134931的博客
08-14 1468
本地AI助手是一种在本地硬件和软件上运行的人工智能应用程序，提供智能交互和数据处理功能。它独立于云服务运行，保护用户隐私，同时提供快速响应时间和高度的自定义能力。在本教程中，我们将演示如何在Jetson设备上使用和搭建本地知识库。通过利用大语言模型的强大功能，我们旨在提高工作效率。
【做项目】Jetson Orin Nano使用Ollama本地部署DeepSeek等大语言模型
最新发布
agentssl的博客
05-02 917
Jetson Orin Nano本地部署LLM
jetson nano 部署 ollama运行大模型
SecularBird的专栏
03-24 2021
Ollama是一个开源的大型语言模型服务,提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。该error 可以无视，这个主要是nvidia-smi 命令没有找到， jetson nano下面没有这个指令， 我们下面要使用的也是cpu所以没有什么影响。这里可以使用jtop来查看资源的消耗， 需要提升性能的话，可以使用jetson_clocks进行调整， 需要装风扇， 不然会温度过高。
deepseek本地部署使用教程
热门推荐
01-31 1万+
deepseek本地部署使用教程
如何利用 多 张 GPU 高效运行 Ollama
weixin_44997264的博客
03-20 1685
通过以上步骤，我们可以确保系统尽可能地利用所有 多张GPU 来运行 Ollama。如果在配置过程中遇到问题，建议查阅 Ollama 的官方文档，确认其是否支持多 GPU 并行计算，或者对系统性能进行进一步的优化。充分利用多 GPU 的并行计算能力，可以显著提升 Ollama 的运行效率，加快模型的推理和训练速度。希望本文能帮助你顺利实现 多张 GPU 的高效利用。
【ollama】（7）：使用Nvidia Jetson Nano设备，成功运行ollama，运行qwen:0.5b-chat，速度还可以，可以做创新项目了
freewebsys的专栏
03-16 2275
【代码】【无标题】在jetson上安装 ollama。
Jetson 开发系列：如何用GPU跑本地大模型？
u010522887的专栏
10-06 4920
Jetson 上利用 GPU 实现大模型推理加速，并本地部署最强开源模型qwen2.5
使用ollama跨平台部署大模型
sinat_14910583的博客
03-26 3282
Get up and running with Llama 2, Mistral, Gemma, and other large language models.
【ollama】（8）：nvidia-docker在Nvidia Jetson Nano设备，对接chatgpt-web服务，配置成功，可以进行web聊天了，给ollama增加web界面
freewebsys的专栏
03-16 520
特别注意是 docker-compose-linux-armv7 版本，linux版本。然后安装docker 执行脚本即可。
使用英伟达 NVIDIA jetson orin 系列部署deepseek-r1
weixin_41672261的博客
02-18 2908
使用jetson orin 系列部署deepseek-r1
神器！香橙派 5 Max 跑 Deepseek R1 等 AI 模型 (1)
qq_29824567的博客
01-30 4551
🤤 **6 TOPs NPU (神经网络计算单元)**：比 CPU/GPU 强很多，用来跑 AI 模型很香。如果你有什么感兴趣的用香橙派玩的项目推荐，欢迎在文末留言！之前看过我前几期内容的朋友，知道我有一个树莓派 4。，虽然聊胜于无，但也足够支持在小小的派上跑 AI 模型，Nice！您的鼓励和支持是我坚持创作的最大动力！也是个选择，但听说它的稳定性和软件支持不如。，这不甩树莓派几条街？最最最重要的是，它有。记得关注不走丢，第一时间看到后续更新！🚀 Ubuntu 安装指南。
大创学习记录：边缘设备LLMs基础实践
2401_84974332的博客
10-16 1247
经过一年发展，LLM的开源项目和应用生态正在使个人使用变得越来越方便。暑假前，我们已经通过手动方式实现了qwen和chatglm系列模型在笔记本上的部署。在后续实践过程中，我们使用了很多我了解到的开源项目和平台，进一步极大简化了部署难度。 最近我们对于边缘场景中借助边缘嵌入式板卡应用LLM模型，进行了三类实验。
Ollama 更新！本地跑 LLama3.2，轻量级+视觉能力，能媲美GPT-4o？
2401_85373898的博客
11-13 917
本文带大家本地跑了 Meta 最新开源的 Llama 3.2，并在票据识别任务上进行了实测。个人体验而言：Llama 系列，都得在中文指令数据上微调后，才能中文场景中使用，同等参数规模下，国产大模型其实更具性价比。
Jetson Orin NX 部署 DeepSeek
02-06
### 如何在 Jetson Orin NX 上部署 DeepSeek DeepSeek 的部署涉及多个方面，包括环境配置、模型转换以及优化。为了确保最佳性能，在 Jetson Orin NX 上部署 DeepSeek 需要遵循一系列特定的操作。 #### 环境准备 Jetson Orin NX 提供强大的计算能力，适合运行复杂的神经网络模型。安装必要的软件包和依赖项是第一步： - 安装 NVIDIA CUDA 和 cuDNN 库以支持 GPU 加速。 - 设置 Python 虚拟环境并安装所需的 Python 包，如 PyTorch 或 TensorFlow 及其相关工具[^1]。 ```bash sudo apt-get update && sudo apt-get install -y \ python3-pip \ libopencv-dev \ protobuf-compiler \ libprotoc-dev pip3 install --upgrade pip setuptools wheel ``` #### 模型转换与优化 对于 DeepSeek 这样的复杂模型，建议将其转化为 ONNX 格式以便更好地利用 TensorRT 进行推理加速。具体操作如下： - 使用官方提供的脚本或自定义代码将训练好的模型导出为 ONNX 文件。 - 利用 ONNX Runtime 工具链进一步优化该文件，特别是针对 Jetson 平台做了专门适配的工作。 ```python import torch.onnx as onnx from deepseek import DeepSeekModel # 假设这是 DeepSeek 的模型类 model = DeepSeekModel() dummy_input = torch.randn(1, 3, 224, 224) onnx.export(model, dummy_input, "deepseek_model.onnx", opset_version=11) ``` #### TensorRT 推理引擎集成 TensorRT 是 NVIDIA 开发的一个高性能深度学习推理库，特别适用于嵌入式设备上的高效执行。通过 TensorRT 对 ONNX 模型进行量化处理可以显著提升效率，尤其是在资源受限的情况下[^3]。 - 将 ONNX 模型导入到 TensorRT 中，并应用 INT8 或混合精度技术来减少内存占用同时保持较高的准确性。 - 编译后的 TensorRT 引擎可以直接加载用于实时预测任务。 ```cpp #include <NvInfer.h> // ... 初始化 TensorRT ... nvinfer1::IBuilder* builder = nvinfer1::createInferBuilder(logger); builder->setMaxBatchSize(batch_size); auto network = builder->createNetworkV2(0U); // 导入 ONNX 模型... parser->parseFromFile(onnx_file_path.c_str(), static_cast<int>(verbosity)); // 构建 TensorRT 引擎... ICudaEngine* engine = builder->buildCudaEngine(*network); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

地球被支点撬走啦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值