Ollama 内网部署（解决由于SSL问题无法直接部署的问题）

基于8*4090物理机部署

由于SSL问题无法解决，手动安装：

通过本地电脑手动下载linux对应的安装包，并使用filezilla工具上传到/data1/目录：

1、使用filezilla上传tgz文件到linux服务器后台；

2、执行下面的命令解压
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

ollama版本更新，也是执行上面的操作；

配置ollama为系统服务（修改可访问范围、模型存储地址、支持通过系统命令启停）

vi /etc/systemd/system/ollama.service

[Service]

Environment="OLLAMA_HOST=0.0.0.0:11434"

Environment="OLLAMA_MODELS=/data1/.ollama/models"

Environment="OLLAMA_DEBUG=1"

Environment="OLLAMA_FLASH_ATTENTION=1"

ExecStart=/usr/bin/ollama serve

User=root

Group=root

Restart=always

RestartSec=3

Environment="PATH=$PATH"

[Install]

WantedBy=multi-user.target

[Unit]

Description=Ollama Service

After=network-online.target

启停命令

systemctl daemon-reload （/etc/systemd/system/ollama.service 被改动后，需要执行该命令）

systemctl start ollama

systemctl stop ollama

常用命令

命令 说明

ollama serve 启动 ollama 服务

ollama create 根据一个 Modelfile 创建一个模型

ollama show 显示某个模型的详细信息

ollama run 运行一个模型

ollama stop 停止一个正在运行的模型

ollama pull 从一个模型仓库（registry）拉取一个模型

ollama push 将一个模型推送到一个模型仓库

ollama list 列出所有模型

ollama ps 列出所有正在运行的模型

ollama cp 复制一个模型

ollama rm 删除一个模型

ollama help 获取关于任何命令的帮助信息

下载模型

Ollama测试地址

http://IP:11434/

远程调用ollama成功

但CPU满载，内存占用350G：

常见问题

Error: llama runner process has terminated: CUDA error: out of memory
  current device: 0, in function ggml_backend_cuda_device_get_memory at //ml/backend/ggml/ggml/src/ggml-cuda/ggml-cuda.cu:2898
  cudaMemGetInfo(free, total)
//ml/backend/ggml/ggml/src/ggml-cuda/ggml-cuda.cu:73: CUDA error

解决方案：待补充