离线部署ollam以及大模型

最新推荐文章于 2025-11-12 10:38:14 发布

原创最新推荐文章于 2025-11-12 10:38:14 发布 · 3.3k 阅读

24 ·

CC 4.0 BY-SA版权

文章标签：

#llama

本文详细描述了如何在没有使用Docker的情况下，在CentOS服务器上手动安装Ollama，设置服务文件，以及如何拉取并部署大模型的过程。

部署运行你感兴趣的模型镜像

我是直接安装在服务器上, 没用docker.

1 安装ollama

有网机器上下载ollama: wget https://ollama.com/download/ollama-linux-amd64 
弄到离线服务器上:/usr/bin/ollama  ollama就是你下载的ollama-linux-amd64 改名了
赋权限: sudo chmod +x /usr/bin/ollama
创建用户: sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama 
创建服务文件: /etc/systemd/system/ollama.service, 内容如下

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

这里要注意Environment这个参数官网没有, 这个是配置其他机器访问的.

重新加载: sudo systemctl daemon-reload\

开机启动: sudo systemctl enable ollama

启动: systemctl start ollama

到这里是参考官方文档: https://github.com/ollama/ollama/blob/main/docs/linux.md .

2 安装大模型

还是在有网的机器(这个机器已经安装ollama), 拉取大模型: ollama pull llama3:8b

大模型存储在: /usr/share/ollama/.ollama

把整个.ollama弄到离线服务器同一个目录下.

查看是否识别到大模型: ollama list, 如果成功, 则会看到大模型

到此centos 直接部署ollama以及大模型全部介绍完毕

您可能感兴趣的与本文相关的镜像

Llama Factory

模型微调

LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调