Linux Ollama离线安装方法

ZXF_H

已于 2025-03-04 10:44:37 修改

阅读量2.3k

点赞数 13

分类专栏： linux ollama llm 文章标签： linux 运维服务器

于 2025-02-26 11:24:58 首次发布

本文链接：https://blog.youkuaiyun.com/ZXF_H/article/details/145856862

版权

linux 同时被 3 个专栏收录

15 篇文章

订阅专栏

ollama

2 篇文章

订阅专栏

llm

2 篇文章

订阅专栏

前言：Linux安装Ollama的方法默认为Linux安装指令在线安装，但有时会因为安装所在机器的网络问题无法安装成功，此处就需要使用离线方式安装。

离线安装方法如下：

1、根据个人机器的类型，到Ollama仓库下载离线版的Ollama程序包，intel与amd CPU的机器选择amd版，arm的机器选择arm版，下载地址为：Releases · ollama/ollama

2、将下载好的程序包上传至需要离线安装的Linux主机，执行解压命令解压

# 以amd构建程序包为例
sudo tar -C /usr -xzvf ollama-linux-amd64.tgz

3、启动ollama服务

ollama serve

4、添加ollama自启动服务

为Ollama创建用户与组

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

创建ollama服务配置文件/etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=default.target

启动服务

sudo systemctl daemon-reload
sudo systemctl enable ollama

至此，Ollama安装完成，执行ollama run命令便可以启动大模型服务！

补充说明：Ollama安装后运行大模型默认是在远程终端执行，若需要对接chatbox或者其它GUI/WEBUI工具，需要确定ollama服务的执行人是ollama还是root，若服务执行用户与ollama.service配置文件中的用户与组不一致则服务将对接不成功，此处可以将配置文件中的用户User与组Group参数改为root或者切换至ollama用户后再执行ollama serve服务，然后UI对话服务方能对接成功。

参考资料：ollama/docs/linux.md at main · ollama/ollama