百年孤独百年的博客

默认的ollama调用的各种大模型，如deepseek 70b模型，每个模型实例只绑定一张 GPU，如果是多卡，其它卡会一直闲置，造成一定浪费。本文档介绍如何通过 systemd 配置文件为 Ollama 服务添加 GPU 和调度相关的环境变量，从而实现多 GPU 的高效利用与负载均衡。

在使用 Docker 部署应用时，通常需要从 Docker Hub 或其他镜像仓库拉取镜像。但有时候，我们可能需要在没有互联网的环境中部署镜像，或者希望直接分享某个镜像给同事、朋友，而不必让他们重新下载。因为很多人使用docker下载文件非常慢，因此我在这里分享一下我docker当前下载的anythingllm和open-webui压缩包。首先分享镜像获取方式，提供两种方式：一个是切换国内镜像，一个是使用我分享的百度云压缩包。

本文介绍了如何在 Windows 系统的 CMD 中使用 Docker 安装 AnythingLLM，并搭建自己的知识库问答大模型

在本教程中，我们将指导您如何使用 Docker 安装 Open-WebUI，并将其与 Ollama 的 DeepSeek 模型集成。这种方法可以简化部署过程，并确保环境的一致性。