1.安装 Ollama
1.1 安装命令,也可以去官网 Download Ollama on Linux
curl -fsSL https://ollama.com/install.sh | sh
1.2 安装完成后,可以查看。
ollama -v
1.3 修改端口
# 打开文件
vim /etc/systemd/system/ollama.service
# 增加
Environment=“OLLAMA_HOST=0.0.0.0:11434”
# 重现加载
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl status ollama
# 查看日志
journalctl -u ollama.service
2. 部署DeepSeek推理模型
根据实际的环境配置,选择合适的 DeepSeek 尺寸模型进行部署。初次安装或者显卡资源少推荐先安装 1.5B或7B、8B尺寸的模型。
2.1 下载 DeepSeek R1 模型
根据您的硬件配置,选择适合的模型版本。以下是下载 DeepSeek R1 8B 模型的示例:
ollama pu