Linux服务器部署Deepseek、Dify、RAGflow实战教程

Ollama 安装

一、安装依赖

安装下载依赖 curl，用于解析下载 ollama 官方地址

apt install sudo
sudo apt update
sudo apt install curl

安装依赖 lspci 或 lshw 等工具用于检测 GPU

sudo apt update
sudo apt install pciutils lshw

安装 ping 包，用于 ping 网址

sudo apt update
sudo apt install iputils-ping

二、安装 nvidia 驱动

为了使用 GPU 加速，我们还需要安装 nvidia 驱动[[Linux服务器安装cuda和cudnn实战教程]]

三、安装 Ollama

对于Linux系统，使用以下命令安装：

curl -fsSL https://ollama.com/install.sh | sh

或者手动安装

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
tar -xzf ollama-linux-amd64.tgz -C /usr/local/bin

安装完成后，运行以下命令查看是否安装成功：

ollama -v

验证安装：打开浏览器，访问http://localhost:11434，如果页面显示Ollama的界面，则说明安装成功。

四、下载模型

启动 Ollama 服务

ollama serve

下载模型

进入官网，选择模型。

# 量化的模型
ollama run deepseek-r1:70b
# q8_0量化的模型
ollama run deepseek-r1:70b-llama-distill-q8_0
# 使用不量化的模型
ollama run deepseek-r1:70b-llama-distill-fp16

# 其它模型
ollama pull nomic-embed-text
ollama run gguf/DeepSeek-Janus-Pro-7B
ollama pull bge-m3
ollama run YuZhouz/VLM-R1

要退出与 Ollama 模型的对话，可以在命令行中输入 /bye 命令。这将结束当前与模型的对话并退出程序。如果你希望使用其他方式结束对话，也可以按 Ctrl + D 键来结束对话。

删除模型命令:

ollama rm name

修改 Modelflie上下文长度限制num_ctx

1. 获取当前模型的配置文件：

ollama show --modelfile deepseek-r1:70b > Modelfile

这会生成一个名为 Modelfile 的文件。

1. 编辑 Modelfile 文件，找到或添加以下参数：

PARAMETER num_ctx 5000

保存文件。</