自然语言处理:第五十三章 Ollama

最新推荐文章于 2025-10-26 06:30:00 发布

原创

最新推荐文章于 2025-10-26 06:30:00 发布 · 2.7k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理 #人工智能 #nlp #pytorch #开源 #chatgpt #深度学习

代码： ollama/ollama: Get up and running with Llama 3.1, Mistral, Gemma 2, and other large language models. (github.com)

官网： Ollama

写在前面: 笔者更新不易，希望走过路过点个关注和赞，笔芯!!!

安装

运行以下命令安装 Ollama：

curl -fsSL <https://ollama.com/install.sh> | sh

AMD Radeon GPU 支持

虽然 AMD 已将amdgpu驱动程序贡献给官方 Linux 内核源代码，但版本较旧，可能不支持所有 ROCm 功能。我们建议您从 https://www.amd.com/en/support/linux-drivers 安装最新的驱动程序，以便为您的 Radeon GPU 提供最佳支持。

手动安装

下载ollama二进制文件

Ollama 以独立二进制文件的形式分发。将其下载到 PATH 中的目录中：

sudo curl -L <https://ollama.com/download/ollama-linux-amd64> -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

添加 Ollama 作为启动服务（推荐）

为 Ollama 创建用户：

sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

在以下位置创建服务文件 /etc/systemd/system/ollama.service：

[Unit]
Description=Ollama Service
After=network-online.target


[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3


[Install]
WantedBy=default.target

然后启动服务：

sudo systemctl daemon-reload
sudo systemctl enable ollama

安装 CUDA 驱动程序（可选 - 适用于 Nvidia GPU）

下载并安装CUDA：https://developer.nvidia.com/cuda-downloads

通过运行以下命令来验证驱动程序是否已安装，该命令将打印有关 GPU 的详细信息：

nvidia-smi

安装 ROCm（可选 - 适用于 Radeon GPU）

下载并安装：https://rocm.docs.amd.com/projects/install-on-linux/en/latest/tutorial/quick-start.html

确保安装 ROCm v6

启动 Ollama

使用以下方式启动 Ollama systemd：

sudo systemctl start ollama

更新

通过再次运行安装脚本来更新 ollama：

curl -fsSL <https://ollama.com/install.sh> | sh

或者通过下载 ollama 二进制文件：

sudo curl -L <https://ollama.com/download/ollama-linux-amd64> -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

查看日志

要查看作为启动服务运行的 Ollama 的日志，请运行：

journalctl -e -u ollama

卸载

删除 ollama 服务：

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

从 bin 目录中删除 ollama 二进制文件（/usr/local/bin、/usr/bin或/bin）：

sudo rm $(which ollama)

删除下载的模型和 Ollama 服务用户和组：

sudo rm -r /usr/share/ollama
sudo userdel ollama
sudo groupdel ollama

GPU支持状态

Nvidia

Ollama 支持计算能力 5.0 及以上的 Nvidia GPU。

要检查您的显卡是否受支持，请查看您的计算兼容性：https://developer.nvidia.com/cuda-gpus

| Compute Capability | Family              | Cards                                                                                                       |
| ------------------ | ------------------- | ----------------------------------------------------------------------------------------------------------- |
| 9.0                | NVIDIA              | `H100`                                                                                                      |
| 8.9                | GeForce RTX 40xx    | `RTX 4090` `RTX 4080` `RTX 4070 Ti` `RTX 4060 Ti`                                                           |
|                    | NVIDIA Professional | `L4` `L40` `RTX 6000`                                                                                       |
| 8.6                | GeForce RTX 30xx    | `RTX 3090 Ti` `RTX 3090` `RTX 3080 Ti` `RTX 3080` `RTX 3070 Ti` `RTX 3070` `RTX 3060 Ti` `RTX 3060`         |
|                    | NVIDIA Professional | `A40` `RTX A6000` `RTX A5000` `RTX A4000` `RTX A3000` `RTX A2000` `A10` `A16` `A2`                          |
| 8.0                | NVIDIA              | `A100` `A30`