Open-webui GPU版本的安装（ollama，llama3本地部署，docker部署）

安装依赖

• 安装好需要的环境 nvidia docker
• 安装好 nvidia docker 的 cuda

下载镜像

• 同时安装Open WebUI和Ollama

• 仅CPU，使用此命令：

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

GPU版本，使用GPU加速

• 在Nvidia GPU支持下运行Ollama，请使用Nvidia-docker工具进行GPU访问，并为CUDA支持设置适当的环境变量：：

docker run -d -p 8080:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui-gpu --restart always ghcr.io/open-webui/open-webui:ollama

备注

• –name open-webui 表示该镜像的名称为 open-webui
• -p 8080:8080 其中的8080是后面打开网页的端口号
• 如果之前安装了 CPU 版本的open-webui, 那么，在安装GPU版本的时候要注意改一下gpu版本的名称（–name open-webui-gpu）
• –volume open-webui:/app/backend/data 表示将本地的 open-webui 文件夹挂载到容器中，这样容器中的数据就保存到这个目录中的

安装模型

• llama3:8b-instruct-fp16
• llama3

可能会遇到无法安装模型的问题，只能安装litellm

• 解决方法是移除相关镜像，然后重新拉去和安装镜像
• 采用新命令安装gpu版本（猜测可能是没有安装ollama的原因）

docker run -d -p 8080:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui-gpu --restart always ghcr.io/open-webui/open-webui:ollama

可能会出现还保留有之前镜像注册的账户，这个时候需要删除之前镜像的挂载目录

• 1、删除容器：先确保停止并删除相关容器，包括任何可能使用这些卷的容器。

docker stop open-webui
docker rm open-webui

• 2、删除卷：删除卷，包括任何可能使用这些卷的容器。

docker volume rm ollama open-webui

• 3、清理未使用的卷：如果不确定卷的名称，可以查看所有卷并删除未使用的卷。

docker volume prune

• 4、重新启动容器：由于相关卷已被删除，任何之前的用户数据和设置都不会被加载。