『大模型笔记』Docker如何清理Build Cache以及nvidia/cuda官方镜像！

AI大模型前沿研究

已于 2024-10-25 09:49:41 修改

阅读量727

点赞数

分类专栏：大模型笔记文章标签：笔记 docker 容器

于 2024-09-26 18:05:50 首次发布

引用请附上作者博客链接https://zhangkaifang.blog.youkuaiyun.com/，谢谢理解！

本文链接：https://blog.youkuaiyun.com/abc13526222160/article/details/142560384

版权

大模型笔记专栏收录该内容

105 篇文章 ¥89.90 ¥99.00

订阅专栏

超级会员免费看

Docker如何清理Build Cache以及nvidia/cuda官方镜像！

文章目录

一. docker system df
二. 构建缓存（Build Cache）删除有什么影响
三. nvidia/cuda官方镜像
四. nvcr.io/nvidia/tensorflow镜像
- tensorflow 2.11.0
- tensorflow 1.15.5

一. docker system df

根据你的 docker system df 输出结果，Docker 的不同部分占用了相当多的磁盘空间。以下是每个部分的详细说明以及清理建议：

root@zkf-ubuntu18 docker system df
TYPE            TOTAL     ACTIVE    SIZE      RECLAIMABLE
Images          35        15        199.6GB   157.7GB (79%)

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

AI大模型前沿研究

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

『大模型笔记』dockerfile中的ENTRYPOINT和CMD有什么区别？|dockerfile设置时区！

AI新视界

08-22

472

主要阐述了 Dockerfile 中 `ENTRYPOINT` 和 `CMD` 指令的区别、使用方式以及如何结合使用，以及它们对容器启动行为的影响。

Jetson Orin安装riva以及llamaspeak，使用 Riva ASR/TTS 与 Llama 进行实时交谈，大语言模型成功运行笔记

最新发布

u013250861的博客

05-01

NVIDIA 的综合语音 AI 工具包 RIVA 可以处理这种情况。此外，RIVA 可以构建应用程序，在本地设备（如）上处理所有这些内容。RIVA 在运行 JetPack 5 及更高版本的 Jetson Orin 和 Xavier 系列处理器上运行。在视频中，我们使用的是Jetson Orin模组和国产载板,usb免驱声卡和麦克风耳机。

参与评论您还未登录，请先登录后发表或查看评论

如何清理docker build的缓存

06-15

4569

如何清理docker build的缓存

Docker Build Cache 缓存清理

小单的博客专栏

11-23

2万+

可以用于清理磁盘，删除关闭的容器、无用的数据卷和网络，以及dangling镜像（即无tag的镜像）。Docker 18.09 引入了 BuildKit ，提升了构建过程的性能、安全、存储管理等能力。注意，这两个命令会把你暂时关闭的容器，以及暂时没有用到的 Docker 镜像都删掉，请注意使用！如果你希望保留最近一定时间的缓存，删除时长更久的缓存，可以通过添加。清理得更加彻底，可以将没有容器使用Docker镜像都删掉。最后的 RECLAIMABLE 这一列表示可回收的大小。

清理docker Build Cache缓存文件

星星的博客

11-29

2042

使用docker构建镜像，发现docker的overlay2文件会越来越大。可以添加一条自动任务，每月自动清理docker构建缓存。# 每月1日清理docker build的缓存。可以看到已经占用了26.7GB，清理这个缓存。再次查看，已经没有缓存了，清理成功。

Docker构建缓冲清理

fxtxz2的专栏

05-14

659

服务器上面使用Docker进行构建，但是，天天用docker构建，发现它在我有限磁盘的服务器上面下了一堆构建缓冲，导致服务器磁盘空间吃进。得想办法清理这个Build Cache，太占空间了。

build cache 清理（Docker 资源管理）

消极的人永远是对的，积极的人选择勇往直前

11-02

2453

build cache 清理（Docker 资源管理）

Docker 资源管理之build cache 清理

AMimiDou_212

09-12

1万+

Docker 资源管理之 build cache 清理 [一]1、Buid cache 简介2、清理本地cache 1、Buid cache 简介平常我们会在docker 构建环境下不断地构建新的镜像，但是当我们不断地构建新的镜像的时候总是获取不到我们需要的镜像，为什么会这个样子呢？其实，是由于image cache 导致的，本身cache 是为了提升build 速度，其会利用现有的cache 来快速构建新的image，因此，当我们构建 image 有问题可以尝试清理下本地的cache； 2、清理本地ca

KTransformers安装笔记利用docker安装KTransformers

guoqingru0311的博客

04-12

819

KTransformers安装笔记利用docker安装KTransformers

docker部署PaddleOCR_paddleocr 镜像

2301_82244623的博客

04-20

917

用 docker 部署 PaddleOCR 是因为 PaddleOCR 以源码安装的方式比较繁杂，要注意比较多的细节，而且很多环境往往是没有外网的，因此Docker就是一个很好的解决方案，它将开放所需要的环境都封装在镜像中了，方便部署使用。

清除docker磁盘缓存

baidu_33209239的博客

12-12

1731

docker volume prune：该命令会删除所有未被任何容器使用的数据卷。执行此命令后，Docker 会要求你确认是否要删除这些未使用的卷。你可以使用 docker builder prune 来删除未使用的构建缓存。如果你想要更全面的清理，可以使用 docker system prune，这将删除所有未使用的容器、网络、镜像和构建缓存。数据丢失：删除未使用的卷会导致其中存储的数据被永久删除。这种方法是清理 Docker 环境中未使用数据卷的有效方式，尤其是在频繁创建和删除容器的开发环境中。

docker build cache 清理

power_to_go

04-15

3158

docker system df 查看 root@ip-172-30-69-134 ~]# docker system df TYPE TOTAL ACTIVE SIZE RECLAIMABLE Images 41 1 10.66GB 10.63GB (99%) Containers 1 1 0B 0B Local Volumes 13

docker build高效利用cache

jeorch的博客

11-23

5493

原文链接：docker build高效利用cache 前言 Dockerfile 可以通过docker build命令构建为一个新的镜像，Dockerfile 中每一条命令都会构建出一个新的镜像层。当你重新build相同的Docker时，Docker会逐条语句check自身的cache镜像层，如果命中相同的，就使用cache而不执行这条语句继续往下逐条check直至build完成。Docker...

docker build 的 cache 机制

weixin_34404393的博客

07-30

300

cache 机制注意事项可以说，cache 机制很大程度上做到了镜像的复用，降低存储空间的同时，还大大缩短了构建时间。然而，不得不说的是，想要用好 cache 机制，那就必须了解利用 cache 机制时的一些注意事项。1. ADD 命令与 COPY 命令：Dockerfile 没有发生任何改变，但是命令ADD run.sh / 中 Dockerfile 当前目录下的 run.sh 却发生了变化，...

docker清缓存、日志、无用镜像

南州博客

07-27

2983

查看docker各类型文件占用情况该命令列出了 docker 使用磁盘的 4 种类型：Images: 所有镜像占用的空间，包括拉取的镜像、本地构建的镜像Containers: 运行中的容器所占用的空间（没运行就不占空间），其实就是每个容器读写层的空间Local Volumes: 本地数据卷的空间Build Cache: 镜像构建过程中，产生的缓存数据RECLAIMABL这个字段明确了该类型中可以清理的空间。

【Docker指令】清除缓存

QAQiiii的博客

02-06

1631

清除Docker缓存

【Docker】清理Docker废弃镜像与缓存

热门推荐

qq_38924779的博客

12-16

3万+

docker清理废弃镜像与缓存

docker清理

weixin_40769819的博客

09-07

266

1. 查看docker 磁盘占用。

nvidia/cuda docker 镜像

01-07

### NVIDIA CUDA Docker 镜像信息与使用 #### 查找和获取CUDA镜像为了确保GPU应用程序能够正常运行，在构建Docker容器时通常会选择基于官方提供的`nvidia/cuda`镜像创建自定义镜像。这些基础镜像已经预先配置好必要的环境变量以及标签（例如`com.nvidia.volumes.needed`），使得它们可以直接同nvidia-docker兼容并利用主机上的GPU资源[^1]。 #### 使用方法一旦选择了合适的CUDA版本作为父级镜像，可以通过编写Dockerfile进一步定制化开发环境。下面是一个简单的例子： ```dockerfile FROM nvidia/cuda:11.0-base # Selecting specific version of CUDA base image RUN apt-get update && \ apt-get install -y python3-pip && \ pip3 install numpy pandas scikit-learn tensorflow-gpu==2.3.* CMD ["bash"] ``` 上述脚本会拉取带有CUDA 11.0支持的基础镜像，并在其之上安装Python包管理工具pip以及其他依赖项如NumPy, Pandas等科学计算库还有TensorFlow GPU版。最后设置默认启动命令为进入交互式的shell模式。 #### 运行含有GPU加速功能的应用程序要让应用能访问到宿主机中的显卡硬件，则需通过特定参数调用`docker run`指令。比如: ```bash docker run --gpus all -it my_custom_cuda_image bash ``` 这里的关键在于加入了`--gpus all`选项，它告诉Docker引擎允许容器内的进程访问所有的物理GPU设备；而如果不加此标记，默认情况下容器是没有权限操作任何图形处理单元的。 #### 安装NVIDIA-Docker插件对于想要启用这种特性的系统来说，除了常规的Docker服务外还需要额外部署由NVIDIA公司维护的支持组件——即nvidia-docker及其关联的服务端口。具体的安装流程取决于操作系统类型，但对于大多数Linux发行版而言一般遵循如下步骤[^3]: 1. 添加软件源仓库地址； 2. 导入GPG密钥以验证下载的安全性； 3. 更新本地APT缓存索引； 4. 执行apt-get install完成最终的产品落地； 5. 重启Docker守护线程使更改生效。