linux离线部署deepcode大模型--ollama方法

1. 下载ollama软件

(1) 在线下载ollama

在联网的机器下载ollama安装包

 # 官方地址
 curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst -o ollama-linux-amd64.tar.zst
 ​
 # 或者使用国内镜像地址
 curl -fsSL https://ollama.ac.cn/download/ollama-linux-amd64.tar.zst -o ollama-linux-amd64.tar.zst
 ​
 # 或者直接在浏览器中打开： https://ollama.ac.cn/download/ollama-linux-amd64.tar.zst

(2)离线安装ollama

在离线机器上解压ollama-linux-amd64.tar.zst，拷贝到/usr文件夹下：

 # 离线机器上需要安装 zstd apt
 sudo apt install zstd
 ​
 # 将下载的包解压到 /usr 目录下，这会把 Ollama 的可执行文件放置到标准路径中 # 需要等一会
 sudo tar x -C /usr -f ollama-linux-amd64.tar.zst

如果没有安装 zstd apt， 或者以上命令执行失败，可以手动解压 ollama-linux-amd64.tar.zst， 得到ollama-linux-amd64文件夹，然后分别把 ollama-linux-amd64/bin 和 ollama-linux-amd64/lib 文件夹下的内容拷贝到 /usr/bin 和 /usr/lib 文件夹下。得到文件夹目录如下：

 /usr/bin/ollama
 /usr/lib/ollama

(3)设置开机自启动ollama

将 Ollama 配置为系统服务，这样它就能开机自启.

步骤1：创建专用用户

 sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
 sudo usermod -a -G ollama $(whoami)

步骤2：创建服务文件 sudo nano /etc/systemd/system/ollama.service，并粘贴以下内容

 [Unit]
 Description=Ollama Service
 After=network-online.target
 ​
 [Service]
 ExecStart=/usr/bin/ollama serve
 User=ollama
 Group=ollama
 Restart=always
 RestartSec=3
 Environment="PATH=$PATH"
 ​
 [Install]
 WantedBy=multi-user.target

nano 操作	快捷键
保存	Ctrl + O
退出	Ctrl + X

步骤3：启动并设置开机自启

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

验证安装

安装完成后，可以通过以下命令验证：

• 查看版本：ollama -v

• 查看服务状态：sudo systemctl status ollama

• 查看已下载的模型：ollama list

另外，Ollama 的模型默认存放在 /usr/share/ollama/.ollama/models。如果系统盘空间紧张，可以通过设置 OLLAMA_MODELS 环境变量来更改这个路径。

2. 下载DeepSeek-Coder模型

方式2：通过HF-Mirror镜像库搜索下载(gguf格式，推荐)

上面的方式1下载的.safetensor文件不能直接被ollama调用，ollama需要.gguf的模型文件。

（1）打开HF-Mirror镜像网站

（2）搜索下载需要的gguf文件

在搜索窗口中键入“deepseek-coder gguf”或者其他想要的模型，得到：

选择其中的“deepseek-coder-6.7B-instruct-GGUF“，点击，得到如下界面：

点击“Files and versions”，可以看到所有可用的“deepseek-coder-6.7b-instruct.gguf”文件，

选择合适自己的版本，点击对应的下载按钮，即可下载。

由图可见，下载速度较快。

（3）个人建议

建议直接进入TheBloke (Tom Jobbins)目录下去搜索下载相关模型

比如搜索“deepseek-code”，选择有“gguf”后缀的模型。

3. 为ollama配置使用大模型

将 GGUF 文件导入 Ollama 的核心是创建一个 Modelfile，然后使用 ollama create 命令构建模型。

(1)：创建 Modelfile 文件

在 GGUF 文件所在的目录，创建一个名为 Modelfile 的文本文件，内容为：

 FROM ./你的模型文件名.gguf

如：

 cd /你的模型所在文件夹
 nano Modelfile
 ​
 # 输入
 FROM deepseek-coder-6.7b-instruct.Q4_K_M.gguf
 ​
 # 按 ctrl + O 保存内容
 # 按回车键，确定保存的文件名
 # 按 ctrl + X 退出 nano

(2) 构建 ollama 模型

在 Modelfile 所在目录打开终端，执行：

 ollama create 自定义模型名 -f Modelfile

如：

ollama create deepseek-coder-6.7b-instruct.Q4_K_M -f Modelfile

Ollama 会读取 GGUF 文件并完成导入，成功后会显示 success.

查看路径“/usr/share/ollama/.ollama/models/manifests/registry.ollama.ai/library/“下已经有一个新的文件夹：deepseek-coder-6.7b-instruct.Q4_K_M， 文件夹下有一个命名为“latest”的文件。

(3)验证并运行

确认模型已创建：

bash

 ollama list

运行模型：

bash

 ollama run 自定义模型名
 # ollama run deepseek-coder-6.7b-instruct.Q4_K_M:latest

现在可以在终端中与大模型对话了。

注意：Ollama 会自动检测 GPU 并使用 CUDA 加速，无需额外配置。但若显存不足，它会回退到 CPU 运行（速度极慢）。

暂停ollama运行

• ctrl + c 暂停当前回答，不退出对话框。

• ctrl +D 退出 ollama run 的对话框。

4. ollama 常用命令

• ollama list : 查看目前有哪几个可用的模型

• ollama run <模型名> ： 运行模型并进入交互模式

• ollama ps ： 查看当前正在运行的模型。在 PROCESSOR 列看到模型是否完全在 GPU 上运行

• ollama stop <模型名> ： 停止当前运行的模型

• ollama -v : 查看ollama的版本

• ollama serve : 启动 Ollama 服务（后台运行）

• ollama --help : 查看所有可用命令及说明

• sudo systemctl stop ollama : 暂停 ollama 的运行

• sudo systemctl start ollama : 启动 ollama 的运行

• sudo systemctl restart ollama ： 重新启动 ollama

操作	命令
停止服务	sudo systemctl stop ollama
启动服务	sudo systemctl start ollama
重启服务	sudo systemctl restart ollama
查看状态	sudo systemctl status ollama
设置开机自启	sudo systemctl enable ollama
禁用开机自启	sudo systemctl disable ollama