如何离线安装ollama

最新推荐文章于 2025-03-22 14:00:04 发布

jerry-89

最新推荐文章于 2025-03-22 14:00:04 发布

阅读量879

点赞数 4

分类专栏： AI 文章标签： python

本文链接：https://blog.youkuaiyun.com/eagle89/article/details/145628855

版权

AI 专栏收录该内容

5 篇文章

订阅专栏

1.环境

本文以centos7.9安装ollama为例

2.下载ollama安装包

官网地址：Download Ollama on Linux
GitHub手动安装文档地址：https://github.com/ollama/ollama/blob/main/docs/linux.md
安装包下载地址：https://ollama.com/download/ollama-linux-amd64.tgz

3.上传到服务器并解压

这里我以上传到/opt/app/middles/ollama目录为例

tar -xzf ollama-linux-amd64.tgz

4.创建ollama.service文件

vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/opt/app/middles/ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"
#指定模型存储位置，可以直接在外网下载好模型，打包解压到内网的ollama的模型目录下，就能实现离线安装了
Environment="OLLAMA_MODELS=/opt/app/middles/ollama/models"
#解决ollama无法访问的问题
Environment="OLLAMA_HOST=0.0.0.0:11434"

[Install]
WantedBy=default.target

#修改完之后，刷新
systemctl daemon-reload

5.ollama启动相关命令

systemctl enable ollama

systemctl start ollama

systemctl status ollama

systemctl stop ollama

systemctl restart ollama

6.配置全局环境变量

vi /etc/profile.d/ollama.sh

#ollama.sh内容如下
PATH=$PATH:/opt/app/middles/ollama/bin
export PATH

#刷新
source /etc/profile

7.验证是否启动成功

下面命令能正常执行，不报错，出现下面的内容就说明安装成功了
NAME ID SIZE MODIFIED

ollama ls