linux系统unbantu安装离线版ollama

一, 下载脚本和安装包

  1. 下载脚本
wget https://ollama.com/install.sh
  1. 修改脚本
#注释掉下面4行代码
#status "Downloading Linux ${ARCH} bundle"
#curl --fail --show-error --location --progress-bar \
#    "https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}" | \
#    $SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"

#接着添加这行代码
$SUDO tar -C "$OLLAMA_INSTALL_DIR" -xzf ./ollama-linux-amd64.tgz

  1. 修改权限:
sudo chmod a+x  install.sh
  1. 下载安装包
    github地址
    [后续放在网盘里]
    根据cpu选择对应的,我的是ollama-linux-amd64.tgz , 注意install.sh 和 ollama-linux-amd64.tgz 在相同路径下

  2. 执行安装

./install.sh

在这里插入图片描述

二,启动测试

  1. 启动
ollama serve

在这里插入图片描述

2.查询版本

root:~/ollama-model# ollama -v
ollama version is 0.9.6

  1. 关闭服务
service ollama stop

三,添加开机自启服务

  1. 修改配置文件
vim /etc/systemd/system/ollama.service

在这里插入图片描述
根据上图进行修改

  1. 把User改为 你的linux系统用户名 ,Group 改为 你的linux用户组
  2. 添加 Environment=“OLLAMA_MODELS=/path/ollama_cache” 改为你的路径
  3. 添加 Environment=“OLLAMA_HOST=0.0.0.0:11434” 配置ollama 服务监听所有IP和端口11434

修改后如下:

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="OLLAMA_MODELS=/root/ollama-model"
Environment="OLLAMA_HOST=0.0.0.0:11434
Environment="PATH=/root/miniconda3/bin:/usr/local/bin:/usr/local/nvidia/bin:/usr/local/cuda/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"

[Install]
WantedBy=default.target

2.重新加载配置

systemctl daemon-reload

3.启动ollama

systemctl start ollama

如果是autoDL服务器,它的系统未使用 systemd 作为初始化系统,因此无法通过 systemctl 命令管理服务,只手工启动即可

# 前台启动(适合调试,关闭终端则服务停止)
ollama serve

# 后台启动(推荐,服务在后台运行)
ollama serve &

# 停止服务
service ollama stop

  1. 查询模型配置文件
ollama show deepseek --modelfile
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值