在 DGX Spark 上使用 Ollama 打开 WebUI

Open WebUI 是一个可扩展的、自托管的 AI 界面，完全离线运行。本期我们将展示如何在 DGX Spark 设备上部署集成 Ollama 服务器的 Open WebUI，然后通过本地浏览器访问 Web 界面，同时模型在 DGX Spark 上运行。

1. 配置 Docker 权限

从 NVIDIA Sync 打开终端应用程序，启动交互式 SSH 会话并测试 Docker 访问权限，在终端中运行。

如果看到权限被拒绝错误（例如尝试连接到 Docker 守护程序套接字时出现权限被拒绝的错误），就把用户添加到 docker 组，这样就不需要使用 sudo 运行命令。

2. 验证 Docker 设置并拉取容器

速度慢可以尝试将 http://ghcr.io 换成 http://ghcr.nju.edu.cn

3. 启动 Open WebUI 容器

这将启动 Open WebUI 容器，我们可以通过本地网络浏览器访问 Open WebUI 界面。

应用数据会存储在 open-webui 卷中，模型数据存储在 open-webui-ollama 卷中。可以用docker volume ls 查看到这2个卷，如果不存在这2个卷，第一次运行容器会自动创建，默认路径： /var/lib/docker/volumes/

4. 创建管理员账户

• 创建管理员账户
• 填写管理员账户创建表单
• 点击注册按钮创建账户并访问主界面

5. 下载并配置模型

• 点击 Open WebUI 界面左上角的"选择模型"下拉菜单
• 在搜索框中输入 gpt-oss:20b
• 点击出现的 "从 http://Ollama.com 拉取 'gpt-oss:20b'" 按钮
• 等待模型下载完成，可以在界面中监控进度
• 完成后，从模型下拉菜单中选择 "gpt-oss:20b"

6. 测试模型

7. 下载其他模型

还可尝试从 https://ollama.com/library 下载 Ollama 库中的不同模型。

关注赞奇科技，收获更多 DGX Spark 资讯。