本地部署deepseek，AMD显卡GPU显卡，ubuntu系统，linux，，ollama+ROCm+docker+open-webui

本地部署deepseek，AMD显卡GPU显卡，ubuntu24系统，linux，ollama+ROCm+docker+open-webui

安装前准备

在开始安装之前，先更新系统软件包列表并安装可用的升级，同时确保安装了与当前内核版本对应的内核头文件和额外模块：

sudo apt update
sudo apt upgrade
sudo apt install "linux-headers-$(uname -r)" "linux-modules-extra-$(uname -r)"

安装 AMD GPU 相关软件

1. 检查已安装的 amdgpu 相关包

dpkg -l | grep amdgpu

1. 下载并安装 amdgpu-install 工具

apt install rocm-smi
rocm-smi
cd /tmp
wget https://repo.radeon.com/amdgpu-install/6.3.2/ubuntu/noble/amdgpu-install_6.3.60302-1_all.deb
sudo apt install ./amdgpu-install_6.3.60302-1_all.deb

1. 安装 ROCm 及相关组件

sudo amdgpu-install -y --usecase=graphics,rocm
sudo usermod -a -G render,video $LOGNAME
sudo apt install rocm-hip-sdk rocm-hip-runtime
sudo usermod -a -G render,video $LOGNAME
sudo usermod -a -G render $LOGNAME

#重启服务器
reboot

1. 验证 ROCm 安装

rocm-smi
rocminfo

卸载和清理 Ollama

如果你之前安装过 Ollama，可以按照以下步骤进行卸载和清理：

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm -rf /var/lib/ollama
sudo rm -rf /etc/ollama
sudo deluser ollama
sudo delgroup ollama
sudo rm /etc/systemd/system/ollama.service
sudo systemctl daemon-reload

安装 Ollama

1. 下载安装脚本

curl -fsSL https://ollama.com/install.sh -o install.sh

1. 修改下载源（可选）
   如果你遇到网络问题，可以修改安装脚本中的下载源：

sed -i 's|https://ollama.com/download/|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/|g' install.sh

我使用的是把install.sh修改为本地当前目录安装文件已上传到网盘，把install.sh与ollama-linux-amd64都上传到同一个目录后执行以下命令，由于csdn不让发链接，文件又太大，只能关注私信我要啦。。。

1. 赋予脚本执行权限并安装

chmod +x install.sh
sudo ./install.sh

配置和运行 Ollama

1. 配置系统参数

export OLLAMA_COMPUTE=auto
sudo sysctl -w vm.overcommit_memory=1
ulimit -s unlimited

1. 重新加载系统服务配置并重启 Ollama

[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/usr/local/go/bin"

Environment="OLLAMA_HOST=0.0.0.0"

#Environment="HSA_OVERRIDE_GFX_VERSION=9.2.8"
#Environment="HCC_AMDGPU_TARGETS=gfx928"
#Environment="ROCR_VISIBLE_DEVICES=0"

Environment="OLLAMA_MAX_VRAM=16G"
Environment="OLLAMA_MMLOCK=0"
[Install]
WantedBy=default.target

sudo systemctl daemon-reload
sudo systemctl restart ollama

1. 查看 Ollama 模型列表和运行状态

ollama list
ollama ps

1. 运行模型

ollama run deepseek-r1:32b

其他常用命令

• 查看系统内存使用情况

free -g

• 查看系统版本信息

cat /etc/os-release

在Ubuntu系统上安装Docker的步骤如下：

1. 卸载旧版本（如有）

如果之前安装过旧版Docker，先卸载避免冲突：

sudo apt remove docker docker-engine docker.io containerd runc

---

2. 安装依赖工具

更新包索引并安装必要工具：

sudo apt update
sudo apt install -y apt-transport-https ca-certificates curl software-properties-common

---

3. 添加Docker官方GPG密钥和仓库

• 添加GPG密钥（确保来源可信）：

  curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
  

• 添加APT仓库（自动适配当前系统版本）：

  echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
  

---

4. 安装Docker引擎

更新包索引并安装最新版本：

sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io

---

5. 验证安装

• 启动Docker服务并设置开机自启：

  sudo systemctl enable --now docker
  

• 运行测试容器：

  sudo docker run hello-world
  

  如果看到欢迎信息，说明安装成功。

---

6. 配置用户权限（可选）

避免每次使用sudo，将当前用户加入docker组：

sudo usermod -aG docker $USER

生效方式：注销后重新登录或重启终端。

---

7. 安装Docker Compose（可选）

如果需要编排工具：

sudo apt install docker-compose-plugin

验证版本：

docker compose version

安装open-webui

以下是针对你的 AMD RX7900 显卡 修改后的 docker run 命令，并附详细说明：

docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://192.168.3.205:11434 \	# IP请修改为本机IP
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main  # 使用CPU版本或兼容AMD的版本（暂未官方支持AMD GPU）

修改说明
移除CUDA依赖
原命令中的 :cuda 标签是专为 NVIDIA GPU 设计的，而 AMD 显卡无法直接兼容 CUDA。
改为使用通用镜像标签 :main（社区推荐），或尝试 :amd64ÿ