Deepseek本地部署指南：在linux服务器部署，在mac远程web-ui访问

1. 在Linux服务器上部署DeepSeek模型

要在 Linux 上通过 Ollama 安装和使用模型，您可以按照以下步骤进行操作：

步骤 1：安装 Ollama

1. 安装 Ollama：
   使用以下命令安装 Ollama：

   curl -sSfL https://ollama.com/install.sh | sh
   

2. 验证安装：
   安装完成后，您可以通过以下命令验证 Ollama 是否安装成功：

   ollama --version
   

步骤 2：下载模型

ollama run deepseek-r1:32b

这将下载并启动DeepSeek R1 32B模型。

DeepSeek R1 蒸馏模型列表

模型名称	参数量	基础架构	适用场景
DeepSeek-R1-Distill-Qwen-1.5B	1.5B	Qwen2.5	适合移动设备或资源受限的终端
DeepSeek-R1-Distill-Qwen-7B	7B	Qwen2.5	适合普通文本生成工具
DeepSeek-R1-Distill-Llama-8B	8B	Llama3.1	适合小型企业日常文本处理
DeepSeek-R1-Distill-Qwen-14B	14B	Qwen2.5	适合桌面级应用
DeepSeek-R1-Distill-Qwen-32B	32B	Qwen2.5	适合专业领域知识问答系统
DeepSeek-R1-Distill-Llama-70B	70B	Llama3.3	适合科研、学术研究等高要求场景

RTX 4090 显卡显存为 24GB，32B 模型在 4-bit 量化下约需 22GB 显存，适合该硬件。32B 模型在推理基准测试中表现优异，接近 70B 模型的推理能力，但对硬件资源需求更低。

步骤 3：运行模型

 ollama run deepseek-r1:32b

通过上面的步骤，已经可以直接在 Linux服务器通过命令行的形式使用Deepseek了。但是不够友好，下面介绍更方便的形式。

2. 在linux服务器配置Ollama服务

1. 设置Ollama服务配置
设置OLLAMA_HOST=0.0.0.0环境变量，这使得Ollama服务能够监听所有网络接口，从而允许远程访问。

sudo vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="PATH=/usr/local/cuda/bin:/home/bytedance/miniconda3/bin:/home/bytedance/miniconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"

[Install]
WantedBy=default.target

2. 重新加载并重启Ollama服务

sudo systemctl daemon-reload
sudo systemctl restart ollama

3. 验证Ollama服务是否正常运行
   运行以下命令，确保Ollama服务正在监听所有网络接口：

sudo netstat -tulpn | grep ollama

您应该看到类似以下的输出，表明Ollama服务正在监听所有网络接口（0.0.0.0）：

tcp        0      0 0.0.0.0:11434           0.0.0.0:*               LISTEN      -                   ollama

4. 配置防火墙以允许远程访问

为了确保您的Linux服务器允许从外部访问Ollama服务，您需要配置防火墙以允许通过端口11434的流量。

sudo ufw allow 11434/tcp
sudo ufw reload

5. 验证防火墙规则
确保防火墙规则已正确添加，并且端口11434已开放。您可以使用以下命令检查防火墙状态：

sudo ufw status

状态： 激活

至                          动作          来自
-                          --          --
22/tcp                     ALLOW       Anywhere                  
11434/tcp                  ALLOW       Anywhere                  
22/tcp (v6)                ALLOW       Anywhere (v6)             
11434/tcp (v6)             ALLOW       Anywhere (v6) 

6. 测试远程访问
在完成上述配置后，您可以通过远程设备（如Mac）测试对Ollama服务的访问。
在远程设备上测试连接：
在Mac上打开终端，运行以下命令以测试对Ollama服务的连接：

curl http://10.37.96.186:11434/api/version

显示