【做项目】Jetson Orin Nano使用Ollama本地部署DeepSeek等大语言模型

大型语言模型（LLM）是深度神经网络架构下的一种自然语言处理（NLP）系统，其通过海量文本数据的预训练学习人类语言的语义和语法规律，具备理解上下文并生成逻辑通顺回复的能力。Ollama作为轻量化开源框架，专注于实现LLM在本地设备端的快速部署与低资源运行。它通过标准化模型封装和自动化依赖管理，使得用户可以在本地内网环境中使用高质量的语言模型，无需依赖云服务。同时提供交互式终端界面以简化模型加载、调试及版本切换操作。

注意：网络环境一般的话不建议直接使用curl工具安装Ollama，此方法非常耗时且下载途中极容易断连。

这里提供另一种方法来安装Ollama。

2 通过Docker部署Ollama

2.1 安装Docker

参照Ubuntu | Docker Docs文档的Installation methods章节，一步一步复制即可。

最后下面运行指令来拉取测试镜像：

sudo docker run hello-world

拉取失败：

由于网络政策，大部分常见的镜像源已经无法使用，所以我们采用更换国内的镜像源。

参考文章

这里我直接修改daemon.json文件，实现永久换源。

sudo vim /etc/docker/daemon.json

加入如下内容：

{
    "registry-mirrors": [
   "https://docker.m.daocloud.io",
   "https://docker.imgdb.de",
   "https://docker-0.unsee.tech",
   "https://docker.hlmirror.com",
   "https://cjie.eu.org"
    ]
}

最后运行指令：

sudo systemctl daemon-reload

sudo systemctl restart docker

再次尝试拉取“hello-world”镜像，出现下图即为成功。

2.2 下载jetson-containers工具

jetson-containers可以通过模块化的方式来自动构建image，但是jetson-containers也有构建好的包含所有我们使用组件的image，我们用的就是他们构建好的image。参考文章

git clone https://github.com/dusty-nv/jetson-containers bash jetson-containers/install.sh

bash jetson-containers/install.sh

出现这种情况属于网路环境问题，多试几次或更换手机热点即可。

运行安装脚本

cd jetson-containers/

bash install.sh

3 运行Ollama容器，加载LLM

通过jetson-containers运行Ollama，首次运行会对Ollama容器进行拉取。

jetson-containers run --name ollama $(autotag ollama)

下载镜像中...

下载完成后会直接运行Ollama。

ollama ps  # 查看当前正在运行的模型
sudo ss -tulnp | grep 11434  #  检查端口11434是否已被占用

ss：替代 netstat 的现代套接字统计工具（更快更高效）。

参数含义：

-t：列出 TCP 端口。

-u：列出 UDP 端口。

-l：仅显示 监听中（LISTEN） 的端口（服务端状态）。

-n：以数字形式显示端口（不解析为服务名称）。

-p：显示占用端口的 进程信息（PID 和进程名）。

sudo：需要管理员权限查看所有进程的端口占用情况。

| grep 11434

过滤输出，只显示包含 11434 的行（Ollama的默认服务端口）。

为什么需要执行这个命令？

Ollama 默认端口：
Ollama 的 API 和 WebUI 默认使用 11434 端口。如果该端口已被其他进程占用，Ollama 将启动失败。

预防端口冲突：
通过检查 11434 端口是否被占用：

无输出：端口空闲，可安全启动 Ollama。

有输出：显示占用进程的 PID 和名称（需处理冲突后再启动 Ollama）。