基于GPU的deepseek容器镜像制作与使用

原创 已于 2025-09-01 13:41:23 修改 · 914 阅读 · 27 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux

于 2025-06-19 16:53:05 首次发布

目录

1 镜像制作

2 Docker镜像测试

3 常见问题

1 镜像制作

基于GPU的deepseek大模型docker镜像，是在基于KOS的docker镜像的基础上，在容器镜像中安装cuda，并将大模型运行在容器镜像中。下面是基于GPU的容器镜像的制作过程。

图1.1 整体架构

软硬件环境

本次使用的软硬件环境如下:

机型：NF5466G7

操作系统：Keyarchos5.8 SP2

内存：256G

磁盘空间：4T

GPU型号及显存:NVIDIA T4 16G * 4

Ollama： 0.5.7

第一步: 创建容器镜像

创建的基础镜像是KOS5.8sp2的docker镜像，下载链接：http://kos.ieisystem.com/kos-isos/kos_docker/KeyarchOS-5.8-SP2-U1-x86_64-docker-20241211.tar，通过DockerFile进行创建。

DockerFile内容如下：

# 使用本地镜像作为基础镜像

FROM keyarchos:5.8sp2u1

COPY ollama-linux-amd64.tgz /ollama-linux-amd64.tgz

RUN dnf -y install tar

RUN cd / && tar xvf ollama-linux-amd64.tgz -C /root && cp -r /root/bin/* /bin && cp -r /root/lib/* /lib && rm -rf ollama-linux-amd64.tgz /root/*

#安装cuda

COPY cuda-rhel8.repo /etc/yum.repos.d/

RUN dnf install -y cuda-toolkit-12-3

EN

最低0.47元/天 解锁文章
DeepSeek提示词，让工作效率翻倍。
Python栈
03-10 1312
随着AI技术的火热发展，企业和个人用户需要搭建知识库的需求越来越迫切。如果自己动手搭建一个功能强大的知识库对于非专业技术人员来说可能面临挑战，更别说那些非专业人士了。我在网上看了大量相关的教程，大多数都是搬砖，偶尔看到一些非搬砖大佬写的教程，总会省略一些细节，导致很多人就算面对教程也是各种踩坑，折腾很久最后也都放弃了。
基于CPU的deepseek容器镜像制作与使用 | KeyarchOS(KOS)
KeyarchOS的博客
05-12 761
KOS团队提供了容器大模型镜像，如：deepseek-kos-docker-1.5b.tar，具体部署和使用步骤如下：（我们提供deepseek-kos-docker-1.5b.tar镜像）图1.1 KOS容器大模型架构本次使用的软硬件环境如下:机型：NF5466G7操作系统：Keyarchos5.8 SP2内存：256G磁盘空间：4T。
Docker国内镜像源部署deepseek
m0_72177915的博客
02-22 2194
从 HuggingFace 或官方渠道下载 GGUF 格式的 DeepSeek 模型（如 deepseek-7b.Q4_K_M.gguf）。GPU（可选）：NVIDIA GPU（支持 CUDA）或 AMD GPU（支持 ROCm）可显著加速推理。支持 macOS、Linux（推荐 Ubuntu/Debian）或 Windows（需 WSL2）。DeepSeek 模型需转换为 Ollama 支持的格式（如 GGUF）。内存：16GB+（7B 模型需 8GB+，13B 模型需 16GB+）。
【deepseek大模型 下载镜像】可用的下载镜像地址
赖德发的博客
02-19 1377
大模型镜像下载网站推荐大家使用。
专为新手设计的deepseek r1模型一键运行+微调镜像！
rlrkkrkt的博客
01-31 2991
在与社区交流的过程中，我发现很多对DeepSeek感兴趣的用户并非该领域的专业研究人员，他们可能缺乏深入体验R1模型的技术基础。在对话界面中，我用红框标注的是模型的回答内容，蓝框标注的则是模型的思考过程内容。第2步：在出现的镜像列表里，找到并点击的那个"deepseek-ai/DeepSeek-R1/DeepSeek"镜像 （就是头像是那个红色的，id名字叫xxxiu的那个）数字6，也是最强R1模型 有一说一听别人说运行是是按照moe激活来推理的，反而不需要很大的显存，不过我也没有测试过。
DeepSeek介绍与部署
super_mochi1
01-28 1万+
DeepSeek 是一家由中国知名量化私募巨头幻方量化创立的人工智能公司，致力于开发高效、高性能的生成式 AI 模型。自2023年7月成立以来，DeepSeek在短短一年多的时间里取得了显著的进展，推出了多个引人注目的开源模型，包括 DeepSeek Coder、DeepSeek LLM、DeepSeek-V2、DeepSeek-V3 和 DeepSeek-R1。成立时间：2023年7月17日母公司：幻方量化，一家规模超过百亿的私募量化基金，为DeepSeek提供了坚实的资金支持。
Docker镜像制作（使用GPU）
zxfeng的博客
08-28 2768
docker制作
基于WSL2上的Docker部署DeepSeek镜像，亲测可用
BigCookies的博客
02-13 2058
同时，有观点认为，DeepSeek可能遭受了大规模的恶意网络攻击，如分布式拒绝服务攻击（DDoS），进一步加剧了服务器的负担，影响正常运行。这不仅能够快速启动服务，还能有效解决不同操作系统之间的兼容性问题，采用隔离环境的方式，避免了因环境差异导致的问题。这里我们不分别安装两次了，我们使用官方提供了的方法，一个镜像包括了 open webui 与 ollama3，更加方便。注意：这是您需要安装的唯一驱动程序。迅速走红，成为全球科技圈的焦点，不仅让科技圈沸腾，更让普通人看到了AI技术带来的无限可能。
[大模型]DeepSeek-7B-chat WebDemo 部署
FL1623863129的博客
04-15 2万+
由70亿个参数组成的高级语言模型 DeepSeek LLM。它是在一个包含2万亿个英文和中文代币的庞大数据集上从零开始训练的。为了促进研究，DeepSeek 已经为研究社区开放了DeepSeek LLM 7B/67B Base 和 DeepSeek LLM 7B/67B Chat。
pytorch cpu版和gpu版国内镜像下载，目前最快下载
热门推荐
YY007H的博客
09-06 5万+
pytorch的cpu的包可以在国内镜像上下载，但是gpu版的包只能通过国外镜像下载，网上查了很多教程，基本都是手动从先将gpu版whl包下载下来，然后再手动安装，如何最快的通过pip的命令安装呢？下面我细细讲下。
deepseek私有部署
清风笑烟语
02-06 558
【代码】deepseek私有部署。
DeepSeek+RagFlow搭建企业级知识库：Docker镜像构建基础篇
huang9604的博客
03-10 1977
随着AI技术的火热发展，企业和个人用户需要搭建知识库的需求越来越迫切。如果自己动手搭建一个功能强大的知识库对于非专业技术人员来说可能面临挑战，更别说那些非专业人士了。我在网上看了大量相关的教程，大多数都是搬砖，偶尔看到一些非搬砖大佬写的教程，总会省略一些细节，导致很多人就算面对教程也是各种踩坑，折腾很久最后也都放弃了。
本地部署 deepseek-R1 模型
weixin_44885334的博客
01-31 5305
本地部署 deepseek-R1 模型
win10本地安装DeepSeek
weixin_48040732的博客
02-07 2981
这里记录下自己在电脑中安装DeepSeek的过程，学习下怎么安装和使用。
deepseek 本地化部署和小模型微调
陈锐的技术笔记
02-03 2万+
因为本人gpu卡的机器系统是centos 7, 直接使用ollama会报所以ollama使用镜像方式进行部署， 拉取镜像ollama/ollama启动命令查看ollama 是否启动成功，Ollama 没有用户界面，在后台运行。打开浏览器，输入 “http://xx:11434/”，显示 “Ollama is running”。deepseek-r1 目前有7b, 32b, 70b, 671b 多个版本
使用BitaHub部署DeepSeek-R1
是我的博客
01-23 1万+
2025 年 1 月 20 日，DeepSeek 发布并开源了最新的推理模型–，性能比肩OpenAI-o1，同时还开源了 6 个R1小模型，使用从 DeepSeek-R1 蒸馏出来的知识去微调 Qwen、Llama，参数包含了1.5B、7B、 8B、14B、32B、70B，能够满足各种场景。本次将使用BitaHub部署DeepSeek-R1-Distill，BitaHub是一个开放的Al和深度学习社区，GPU算力资源有4090、A100 等高性能显卡，提供了全流程的 AI 开发、训练、部署的专业环境。
DeepSeek本机部署(基于Ollama和Docker管理）
2302_79135989的博客
01-31 2万+
基于Docker和Ollama管理的本地最强模型部署
通过docker安装部署deepseek以及python实现
yilvyangguang520的博客
02-05 2786
通过docker安装部署deepseek以及python实现
基于AMD GPU部署deepseek
最新发布
05-20
### 部署DeepSeek大模型于AMD GPU环境 #### 环境准备与基础依赖 为了在AMD GPU环境下成功部署DeepSeek大模型，首先需要完成必要的软件和驱动安装。以下是具体的操作指导： 1. **安装Ollama框架** 使用官方提供的脚本来快速部署Ollama框架。对于Linux系统（如Ubuntu），可以通过以下命令完成安装： ```bash sudo snap install ollama ``` 对于Windows用户，则需额外设置`OLLAMA_HOST=0.0.0.0`以允许远程访问。 2. **驱动程序适配** AMD显卡需要支持ROCm框架才能充分利用GPU加速功能。确保已安装最新版的ROCm驱动以及相关工具链。例如，在Ubuntu上可通过以下命令安装ROCm： ```bash wget https://repo.radeon.com/rocm/apt/debian/rocm-gpg-key.pub && \ sudo apt-key add rocm-gpg-key.pub && \ echo 'deb [arch=amd64] https://repo.radeon.com/rocm/apt/debian focal main' | sudo tee /etc/apt/sources.list.d/rocm.list && \ sudo apt update && sudo apt install rocm-dkms hipify-clang ``` 3. **验证并调整库文件** 如果遇到特定问题（如性能瓶颈或兼容性错误），可能需要手动替换某些动态链接库文件。例如，更新`rocblas.dll`或其他核心组件至更稳定版本[^2]。 --- #### 容器化部署流程 为简化管理和提高可移植性，推荐采用Docker容器技术封装整个运行环境。以下是构建镜像的关键步骤： 1. 创建一个新的Dockerfile定义所需的基础镜像及相关配置项； 示例代码如下所示： ```dockerfile FROM ubuntu:20.04 RUN apt-get update && apt-get install -y --no-install-recommends \ curl gnupg software-properties-common ca-certificates lsb-release # 添加ROCM仓库源地址 RUN echo "deb [trusted=yes arch=$(dpkg --print-architecture)] http://repo.radeon.com/rocm/apt/focal $(lsb_release -cs) main" > /etc/apt/sources.list.d/rocm-focal-main.list # 更新包索引表并预装必要组件 RUN apt-get update && DEBIAN_FRONTEND=noninteractive apt-get install -y \ rocm-dev rocm-opencl rocm-smi-lib miopen-hip python3-pip git build-essential WORKDIR /app/ COPY . . CMD ["ollama", "run"] ``` 2. 构建完成后即可利用该定制化的镜像启动服务实例； 执行下面这条指令来生成最终产物： ```bash docker build -t deepseek-amd-env . docker run -it --rm --device=/dev/kfd --device=/dev/dri --group-add video -e LD_LIBRARY_PATH=/opt/rocm/lib:/usr/local/cuda/lib64:$LD_LIBRARY_PATH -v $PWD/models:/models deepseek-amd-env bash ``` --- #### 性能优化建议 针对AMD平台上的DeepSeek应用，可以从以下几个方面着手改进整体表现水平： 1. **混合计算模式** 结合CPU与GPU共同分担运算负载能够显著降低延迟时间同时提升吞吐量。参考文档中提到的方法调整参数设定使得两者之间达到最佳平衡状态[^2]。 2. **数据布局重组** 修改输入张量存储方式从而减少访存次数进而加快处理速度。尝试使用Tiled Matrix Layout代替传统Row-Major Order形式可能会带来意想不到的效果。 3. **异步执行机制引入** 实现多任务并发操作有助于掩盖I/O等待期间造成的闲置周期浪费现象。借助Stream API或者Task Queue等方式组织流水线结构设计思路。 4. **编译选项微调** 根据实际硬件特性重新审视现有Makefile里的Flags列表内容是否存在进一步挖掘潜力空间的可能性。适当增加FMA指令利用率或是关闭不必要的Debug Information记录等功能开关均有可能取得不错收益。 ```python import torch def optimize_model(model, device='cuda'): model.to(device) with torch.no_grad(): for param in model.parameters(): if isinstance(param.data, torch.Tensor): param.data = param.data.contiguous().half() # 半精度浮点数转换 return model ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值