Linux系统离线安装ollama【详细版】

原创已于 2025-04-08 09:21:19 修改 · 3k 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#linux #ollama #AI #gcc #deepseek

于 2025-03-26 23:56:41 首次发布

ollama 专栏收录该内容

4 篇文章

订阅专栏

部署运行你感兴趣的模型镜像

前期准备

先下载好ollama安装包：ollama-linux-amd64.tgz
放入系统中
我的测试系统为：麒麟服务器操作系统V10 SP3 2403
在这里插入图片描述

安装

sudo tar -C /usr -xzvf ollama-linux-amd64.tgz //解压到目录

ollama serve //运行测试

在这里插入图片描述
以上为启动成功

启动失败

在这里插入图片描述
启动失败会出现：ollama: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.25‘ not found (required by ollama)

解决缺少GLIBCXX_3.4.25的问题

解决方法我写有文章：ollama: /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.25‘ not found (required by ollama)

创建自动启动ollama

vim  /etc/systemd/system/ollama.service

填入

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"

[Install]
WantedBy=default.target

执行命令做开机自启

sudo systemctl daemon-reload
systemctl start ollama
systemctl enable ollama

在这里插入图片描述
这样就设置成功了

测试

在这里插入图片描述
测试下载deepseek-r1:70b没问题

您可能感兴趣的与本文相关的镜像

Llama Factory

模型微调

LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

mzak

关注关注

11
点赞
踩
16

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

linux下ollama离线安装

hjy6666hjy的博客

03-08

1830

或使用下载命令： wget https://hub.nuaa.cf/ollama/ollama/releases/download/v0.1.32/ollama-linux-amd64 -O /usr/bin/ollama。移动：mv /home/usr/desktop/ollama-linux-amd64.run /usr/bin/ollama（移动到/usr/bin下且重命名为ollama）解压：tar -zxvf ollama-linux-amd64.tgz -C /usr/bin。

ollama在Linux中部署大模型步骤

qianyuanruqu的博客

06-26

2447

3）默认情况下，ollama会默认保持5分钟的活跃状态，超过五分钟没有操作，服务会自动退出，为了避免在调用大模型服务时的冷启动，可以通过环境变量OLLAMA_KEEP_ALIVE来设置活跃状态的时间。2) 默认情况下，通过ollama部署的大模型是阻塞的，为了提高大模型的并发性，可以通过添加OLLAMA_NUM_PARALLEL来配置同时并发的数量。注意：每次修改配置文件后，需要关停ollama服务，重启后才生效。第二步：将Ollama添加为启动服务。第三步：创建服务文件，并添加配置。

参与评论您还未登录，请先登录后发表或查看评论

操作系统银河麒麟V10离线安装deepseek：ollama大语言模型服务与chatbox客户端部署指南

05-06

内容概要：本文档详细介绍了在银河麒麟V10操作系统上离线安装deepseek模型及相关组件的方法。首先介绍了系统环境与硬件配置，然后逐步讲解了安装ollama、配置系统服务与环境变量、离线下载并导入deepseek-r1模型的具体步骤。对于AI客户端chatbox的安装，文档不仅提供了安装方法，还指导用户如何创建桌面快捷方式以便于启动，并说明了如何配置chatbox以实现与deepseek的交互。此外，还简要提及了远程连接deepseek的方式。; 适合人群：对AI模型部署有兴趣的技术人员，特别是那些使用银河麒麟V10操作系统且需要离线环境下部署大型语言模型的用户。; 使用场景及目标：①在没有互联网连接或受限网络环境中部署deepseek模型；②了解如何在特定操作系统（银河麒麟V10）上安装和配置AI工具和服务；③掌握AI客户端chatbox的安装和配置方法，实现与deepseek模型的交互；④学习如何将模型配置为系统服务，确保其稳定性和易用性。; 阅读建议：由于涉及到具体的命令行操作和文件路径，建议读者在实际操作前仔细阅读每一步骤，并根据自身环境适当调整。同时，对于不熟悉的命令或配置，可以通过查阅附录提供的参考资料进行进一步了解。

在服务器，无sudo权限安装ollama

qq_43692254的博客

02-14

712

完成后esc退出插入模式键盘输入:wq!5.查看ollama版本，看到输入信息。2.创建ollama文件，并本地上传文件。然后执行source指令使环境变量生效。1.官网下载ollama所需要的版本。按i插入模式，在最下面添加。7.新开终端，下载大模型。完成后如下所示两个文件。6.运行ollama。

Linux服务器离线安装Ollama完整指南

热门推荐

杉叔的专栏

04-10

4万+

在线安装地址https://ollama.com/download选择服务器系统，按照步骤完成安装。下载地址 https://github.com/ollama/ollama/releases/总共需要修改两个点，第一：Ollama下载地址；第二：Ollama安装包存放目录。我下载的是Ollama的v0.1.31版本，后面均以此版本为例说明。修改后的install.sh文件，v0.1.31版本。第二处修改，修改ollama安装目录。第一处修改，注释下载链接。

ollama离线安装脚本

09-03

ollama离线安装脚本

Ollama【部署 04】Linux环境离线安装Ollama及模型文件（sha256缓存与gguf模型文件）

Java与大数据相关实践内容分享！

03-18

1350

本文介绍了在Linux环境下离线安装Ollama及模型文件的方法。主要内容包括：1) 在openEuler系统上离线安装Ollama软件；2) 两种模型导入方式：通过sha256缓存文件迁移（需复制manifest和blobs文件）和使用下载的gguf格式模型（需创建Modelfile配置文件）；3) 详细步骤说明和注意事项。文章展示了如何通过文件迁移实现模型离线部署，并验证了模型导入成功的方法。该方案适用于需要离线部署本地大模型的场景，具有很强的实用性。

离线安装Ollama以及部署模型

rabbitlss的博客

02-12

3894

因为只能使用带GPU资源的内部LINUX服务器 ( X84-64 / Centos7 )，同时服务器没有外网，在网上查阅了相关内容，从头到尾自己安装部署了一遍，特地记下来方便后续查阅。

Linux服务器离线安装ollama及大模型

JakeMa1024的博客

04-25

883

核心思路：使用一台可以联网的电脑将需要的ollama安装包和大模型下载到本地，之后传输到Linux服务器上安装并配置环境说明联网机：macOS M1ProLinux服务器：x86_64安装ollama版本：v0.6.4 （某些新模型不支持低版本ollama，最好用新一点的）安装的大模型：llama3.2-vision:11b。

如何在离线的Linux服务器上部署 Ollama，并使用 Ollama 管理运行 Qwen 大模型

pythonhy的博客

11-05

2128

如何在离线的Linux服务器上部署 Ollama，并使用 Ollama 管理运行 Qwen 大模型

Linux Ollama离线安装方法

视觉算法小趴菜的博客

02-26

5534

Linux安装Ollama的方法默认为Linux安装指令在线安装，但有时会因为安装所在机器的网络问题无法安装安装成功，此处就需要使用离线方式安装。创建ollama服务配置文件/etc/systemd/system/ollama.service。至此，Ollama安装完成，执行ollama run命令便可以启动大模型服务！2、将下载好的程序包上传至需要离线安装的Linux主机，执行解压命令解压。为Ollama创建用户与组。4、添加ollama自启动服务。3、启动ollama服务。

离线环境下安装Ollama

keyboard专栏

12-24

7490

准备文件：在有外网的环境中下载并传输等相关文件。修改脚本：修改安装脚本中的curl下载命令，将其指向本地文件路径。执行安装：在离线环境中执行修改后的安装脚本。手动启动：如果不使用systemd，可以手动启动 Ollama 服务。检查安装：确认 Ollama 是否成功安装并启动。通过这些步骤，你可以在离线环境中成功安装和运行 Ollama。如果有任何问题，随时可以咨询！

linux系统离线安装ollama要详细可用的安装过程

03-28

<think>嗯，用户想要在Linux系统上离线安装Ollama，这看起来有点挑战，因为Ollama默认可能需要在线下载模型或者依赖。首先，我需要回忆一下Ollama的安装步骤，常规情况下是怎么安装的，然后再考虑离线情况下需要哪些调整。首先，常规安装Ollama是通过脚本下载并安装的，比如使用curl命令从官网获取安装脚本然后执行。但离线环境显然不能这样。所以用户需要提前下载好所有必要的文件，包括Ollama的二进制包和可能的依赖项。接下来，我得确认Ollama是否有提供离线安装的选项或者二进制包直接下载。查看Ollama的官方文档或者GitHub仓库，看是否有Release页面提供Linux的二进制文件。假设存在的话，用户需要先在有网络的环境下下载这些文件，然后转移到离线机器上。然后，依赖项的问题。Ollama可能依赖一些库，比如GPU相关的驱动，如CUDA、Nvidia驱动等，或者是其他系统库。在离线环境中，这些依赖需要预先安装好，或者将它们的安装包一并下载并手动安装。另外，Ollama运行时可能需要访问某些端口或者服务，离线环境下需要确保这些端口没有被防火墙阻挡，并且服务正常启动。比如，Ollama默认的11434端口是否开放。用户可能还关心如何在没有网络的情况下加载模型。通常Ollama会从网上下载模型，所以离线情况下需要提前下载好模型文件，然后通过某种方式导入到Ollama中。可能需要使用Ollama的命令行工具导入模型，或者将模型文件放置在正确的目录下。需要分步骤说明：先在有网络的环境准备所有文件，然后转移到离线机器，安装二进制文件，处理依赖，配置环境，最后导入模型并测试运行。此外，可能还需要设置服务或者开机启动，确保Ollama在离线环境下能正常启动。还要考虑用户可能的系统版本，比如是Ubuntu还是CentOS，不同的发行版安装依赖的方法不同。可能需要给出通用的方法，或者提示用户根据系统类型调整步骤。最后，要验证安装是否成功，比如运行ollama serve，或者执行ollama run命令加载本地模型，检查是否有错误输出。可能需要处理常见的权限问题，比如用户是否有权限访问指定的端口或目录。总结步骤应该是：下载离线包和模型，传输到目标机器，安装Ollama，安装依赖，配置模型，测试运行。需要详细说明每一步的具体操作，比如如何下载二进制文件，如何导入模型，如何处理可能的依赖缺失等。</think>以下是在Linux系统离线安装Ollama的详细步骤：一、准备工作（需联网环境） 1. 下载离线包访问Ollama官方GitHub Releases页面（https://github.com/olm/ollama/releases）下载对应架构的二进制包（如：ollama-linux-amd64） 2. 下载模型文件在有网环境执行： ```bash ollama pull llama2 ``` 模型文件将保存在：`~/.ollama/models/` 3. 准备依赖库（以Ubuntu为例）下载所需依赖： ```bash apt download libssl3 openssl libc6 libgcc-s1 ``` 二、离线环境操作 1. 传输文件到目标机器将以下内容打包传输： - ollama-linux-amd64 - models目录 - 依赖的.deb包 2. 安装依赖库 ```bash sudo dpkg -i libssl3*.deb openssl*.deb libc6*.deb libgcc-s1*.deb ``` 3. 部署Ollama ```bash sudo install -Dm755 ollama-linux-amd64 /usr/local/bin/ollama sudo mkdir -p /usr/share/ollama/.ollama sudo cp -r models /usr/share/ollama/.ollama/ ``` 4. 创建服务文件新建`/etc/systemd/system/ollama.service`： ```ini [Unit] Description=Ollama Service After=network-online.target [Service] User=ollama Group=ollama ExecStart=/usr/local/bin/ollama serve Restart=always [Install] WantedBy=default.target ``` 5. 创建专用用户 ```bash sudo useradd -r -s /bin/false ollama sudo chown -R ollama:ollama /usr/share/ollama ``` 三、验证安装 1. 启动服务 ```bash sudo systemctl daemon-reload sudo systemctl start ollama ``` 2. 检查状态 ```bash systemctl status ollama ``` 3. 测试接口 ```bash curl http://localhost:11434 ``` 四、使用模型 1. 运行模型（需提前导入） ```bash ollama run llama2 ``` 注意事项： 1. 模型文件需完整复制`~/.ollama/models`目录结构 2. 确保系统glibc版本不低于2.31 3. 如需GPU加速，需提前安装CUDA驱动 4. 防火墙需开放11434端口常见问题处理： - 依赖缺失：使用`ldd /usr/local/bin/ollama`检查缺失库 - 权限问题：确保/usr/share/ollama目录属于ollama用户 - 模型加载失败：检查模型文件哈希值与manifest.json是否一致