CentOS上安装Ollama

原创已于 2024-06-07 21:25:57 修改 · 3.8k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#centos #linux #运维

于 2024-06-07 21:16:49 首次发布

部署运行你感兴趣的模型镜像

要在CentOS上安装Ollama，请按照以下步骤操作：

下载安装脚本:

curl -fsSL https://ollama.com/install.sh | sh

(sadtalker) [root@iZ0jl0y9289xkrzfhm4p2wZ ollama]# curl -fsSL https://ollama.com/install.sh | sh
>>> Downloading ollama...
######################################################################## 100.0%#=#=-#  #                                                                     
>>> Installing ollama to /usr/local/bin...
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> NVIDIA GPU installed.

验证安装:
```
ollama --version
```

(sadtalker) [root@iZ0jl0y9289xkrzfhm4p2wZ ollama]#    ollama --version
ollama version is 0.1.41

您可能感兴趣的与本文相关的镜像

Llama Factory

模型微调

LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

MonkeyKing.sun

关注关注

3
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

Linux CentOS 上 Ollama 的安装与部署：从入门到实践

RodJohnsonDoctor的专栏

02-23

1654

Ollama 是一个开源的 AI 模型管理工具，专注于简化大模型的部署和使用。它支持多种开源模型（如 LLaMA、Mistral 等），并提供了高效的模型推理能力。Ollama 的设计目标是让开发者能够轻松地在本地或边缘设备上运行大模型，而无需复杂的配置和高昂的硬件成本。Ollama 为开发者提供了一个简单而强大的工具，用于在本地环境中部署和管理大模型。通过本文的介绍，您可以在 CentOS 系统上快速安装 Ollama，并部署如 LLaMA2 等热门模型。

centos7.9 - ollama 安装步骤

qq_33928223的博客

04-27

1410

在 CentOS 7.9 上安装 Ollama 需要一些额外的步骤，因为 CentOS 7.9 的默认软件包版本较旧，可能需要手动安装或更新依赖项。

参与评论您还未登录，请先登录后发表或查看评论

CentOS 10安装Ollama

浩瀚蓝天dep的博客

08-22

552

本文介绍了在CentOS 10系统下手动安装Ollama v0.11.6的完整过程。主要步骤包括：从GitHub下载安装包并上传至服务器，解压到/usr目录；创建ollama用户组和用户；关闭防火墙；配置系统服务文件并设置为开机自启；最后启动服务并验证状态。该方法避免了直接使用官网脚本安装可能导致的失败问题，提供了稳定的部署方案。

在CentOS7虚拟机上使用Ollama本地部署Llama3大模型中文版+Open WebUI

最新发布

python1234567_的博客

11-12

760

如何在在 CentOS 中安装 OLama

gzgenius的博客

02-17

1414

完成以上步骤后，OLama 应该成功安装，并且可以在CentOS上使用。接下来，你可以根据需要进行进一步的配置和扩展。这会启动一个不可中断的OLama服务，通过标准输入输出（stdin/stdout）接收请求。在安装 OLama 之前，需要先安装一些必要的依赖项，包括编译器、框架和工具。OLama 的一些组件需要额外的依赖项。这会运行OLama的测试用例。如果测试通过，说明安装成功。如果编译过程中遇到错误，可以检查错误信息并相应处理。是一个相对直接的过程。为OLama实际的构建目录路径。

centos7安装ollama----docker方式

Flying_Fish_roe的博客

09-14

458

本文介绍了在Linux系统下通过Docker安装Ollama大语言模型服务的完整过程。首先通过curl下载安装包时遇到GLIBC版本不兼容问题，随后转为使用Docker方案。详细说明了Docker的安装配置步骤，包括添加阿里云镜像源、配置daemon.json文件等。接着通过Docker运行Ollama容器，挂载本地目录存储模型数据，并演示了拉取Qwen 7B模型的过程。最后展示了如何启动模型对话界面，为后续使用大语言模型服务奠定了基础。整个安装过程涉及系统配置、Docker部署和模型管理等多个技术环节。

CentOS 7部署Ollama运行DeepSeek模型教程

业精于勤，荒于嬉；行成于思，毁于随

04-17

675

CentOs 7部署Ollama运行DeepSeek模型教程

centos上部署Ollama平台，实现语言大模型本地部署

做GIS梦的人

06-29

2536

网上有很多大模型，很多都是远程在线调用ChatGPT的api来实现的，自己本地是没有大模型的，这里和大家分享一个大模型平台，可以实现本地快速部署大模型。Ollama是一个开源项目，它提供了一个平台和工具集，用于部署和运行各种大型语言模型（LLM，Large Language Model）。Ollama简化了在本地机器上运行这些模型的过程，使得用户不需要深入的机器学习知识就可以利用先进的语言模型进行自然语言处理任务，如对话生成、文本补全等。Ollama的官方网站是。

Centos安装ollama和Open-WebUI

08-26

403

在线安装。

第二十四篇-Ollama-在线安装

木卫二号的专栏

04-27

2958

ollama-在线安装，运行速度相当不错。

centos7 部署 Ollama，过程及遇到的问题（中篇）

hnmpf的博客

11-06

2448

4、在[Service]下边增加一行：Environment=“OLLAMA_HOST=0.0.0.0:8080”，端口根据实际情况修改。1、在线安装（由于国内github的原因安装比较慢，预计2个小时内）3、通过Ctrl+D 退出默认的通讯。9、ps显示当前正在运行的模型情况。2、通过Ollama安装。5、重载daemon文件。6、启动ollama服务。

CentOS7 部署 Ollama 全栈指南：构建安全远程大模型服务

源滚滚编程

04-26

1600

通过本文的配置方案，开发者可在 CentOS7 上构建稳定的大模型服务端，并通过标准 HTTP 协议实现安全远程调用。建议定期执行保持模型版本最新，同时关注 CVE 漏洞公告及时修补安全风险。对于企业级场景，可结合 Kubernetes 实现高可用集群部署。

OllamaAi设置外网访问

wuzhangxiong123的博客

05-03

1万+

3、关掉已打开的命令行窗口，打开新命令行，用ollama serve或者ollama start来启动ollama服务，此时ollama服务在启动时将读取环境变量中的OLLAMA_HOST，支持IP端口访问。1、首先停止ollama服务的允许。2、修改ollama的service文件：/etc/systemd/system/ollama.service。1、首先停止ollama服务：systemctl stop ollama。4、启动ollama服务 systemctl start ollama。

centos7.6离线安装ollama以及deepseek

ssp584731180的博客

02-10

2323

centos7.6安装ollama以及deepseek

安装Ollama并部署DeepSeek大模型

laolitou_1024的博客

03-04

2482

Ollama 是一个轻量级的开源工具，它允许用户在本地设备（如个人电脑、服务器等）上快速拉取、管理和运行各种大语言模型。用户通过简单的命令行接口，就可以完成模型的下载、启动和交互，无需复杂的配置和代码编写。本文分享Centos和Windows两种环境下分别安装Ollama并部署DeepSeek大模型的步骤。

centos7 部署 Ollama，过程及遇到的问题（上篇）

hnmpf的博客

11-06

1838

9、创建软连接（可以通过whereis python查询路径，默认：/usr/local/bin/python3）5、先安装Python3的安装依赖（可以选择 yum install gcc、zlib....）2、下载python3.11.2（会下载到当前目录）3、解压压缩包（会解压到当前目录）4、初始化python 文件配置。5、更新与检查yum信息。11、pip3 安装。4、更新新的yum缓存。12、检查是否正确安装。

本地虚拟机Centos7使用Ollama运行llama3中文模型和OpenWebUI访问

paopaodog的博客

06-20

3729

量化是一种模型压缩技术，通过减少表示权重和激活的位数来减少模型的大小和推理时的计算量。q4大概4.7G，q8大概8.5G，fp16大概16G。中搜索llama3找下载最多的中文版，我这里选择了8b q4的，因为虚拟机硬盘空间不够，有条件的可以选择q8或者fp16的。本来想用docker安装lobe-chat，但是docker死活拒绝连接，所以选择了Open WebUI，从docker拉取，大概4个多G。如果想宿主机也能访问虚拟机Ollama上的大模型，那需要使服务监听所有网络接口，否则只能虚拟机内部访问。

centos离线安装ollama

03-08

### CentOS 离线环境下 Ollama 安装方法 #### 文件准备为了在离线环境下的 CentOS 上安装 Ollama，需先在一个联网的环境中准备好必要的文件。这些文件包括 `ollama-linux-${ARCH}.tgz` 和 `install_ollama.sh` 脚本。确保下载适合目标机器架构版本的压缩包[^1]。 #### 修改安装脚本将上述文件复制至目标离线主机之后，打开 `install_ollama.sh` 并查找其中所有的网络资源获取指令（通常是 `curl` 或者 `wget`）。把它们替换为指向已拷贝到本地磁盘上的对应文件路径的位置。这样做是为了让整个安装过程不再依赖互联网连接。 #### 执行安装操作完成前述准备工作后，在终端里切换到保存了安装程序的工作目录下运行如下命令来启动安装流程： ```bash chmod +x install_ollama.sh && ./install_ollama.sh ``` 此步骤会按照预设逻辑部署 Ollama 及其所需组件于系统之上。 #### 启动服务如果操作系统配置中启用了 `systemd` 单元管理，则可以通过它控制 Ollama 的生命周期；反之则需要管理员自行利用其他方式激活应用实例。对于后者而言，可以直接调用二进制文件的方式实现快速上线测试目的： ```bash /root/autodl-tmp/ollama/bin/ollama start ``` 另外，为了让全局范围内的用户能够方便地访问 Ollama 提供的功能接口，建议创建软链以便简化命令输入: ```bash sudo ln -sf /root/autodl-tmp/ollama/bin/ollama /usr/local/bin/ollama ``` 这样就可以直接通过简单的 `ollama` 命令来进行后续的操作了[^2]。 #### 验证安装成果最后一步是要验证刚刚设置的服务是否正常运作。可以尝试向默认监听地址发送 HTTP 请求查看响应情况，也可以参照官方文档进一步了解如何与 API 进行交互。