docker 修改 shm-size

最新推荐文章于 2025-11-30 08:57:13 发布

转载最新推荐文章于 2025-11-30 08:57:13 发布 · 6.4k 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/shmily_lsl/article/details/81166951

ubuntu 专栏收录该内容

2 篇文章

订阅专栏

文章解决PyTorch在Docker环境下使用多线程Dataloader时因sharememory限制导致的问题，提供修改shmsize参数的方法，避免重建container或降低训练效率。

PyTorch 2.5

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

pytorch 在docker中用到多线程dataloader时往往会因为dockers对share memory的限制报错

网上大多数解决方案要么是重建一个container 要么是把dataloader的num_worker设为0

第一个对于配好的环境之后实在太麻烦

第二种方案会导致训练速度明显变慢

通过这篇文章中的方法，修改对应的shmsize参数即可解决

https://blog.youkuaiyun.com/shmily_lsl/article/details/81166951

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Avlon

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

『CV学习笔记』docker和nvidia-docker离线安装

AI新视界

08-08

1638

docker和nvidia-docker离线安装。

【Docker开篇第二篇】Docker 掌握核心技术_docker --ipc host

2401_87555412的博客

10-23

750

–shm-size | /dev/shm的大小 || –sig-proxy | 代理收到该过程的信号默认 true || –stop-signal | 停止容器的信号默认 SIGTERM || –stop-timeout | 暂停（以秒为单位）以阻止容器 || –storage-opt | 容器的存储驱动程序选项 || –sysctl | Sysctl选项 || –tmpfs | 挂载tmpfs目录 || –tty , -t | 分配 pseudo-TTY |

参与评论您还未登录，请先登录后发表或查看评论

如何修改容docker容器的shmsize共享内存大小

预备的小小CV算法工程师

01-11

1万+

最简单的办法是重新新建一个容器，在run的时候添加参数： –shm-size 6G 这样即可，如果不想这么做可以继续看： 1. 在容器中查看大小： . df -h | grep shm 内存远远不够首先要关闭docker, 否则下面的操作步骤会无效！！ service docker stop 2. 进入宿主机中修改Host.json /var/lib/docker/containers ls 查看你的docker容器的id： docker ps 之后进入该文件的配置文件夹： cd askdh

修改docker共享内存shm-size

as_your_heart的博客

01-22

1539

这个container_id可以通过docker ps -a查找，但是其container_id显示不全，可以通过按键盘上的tab键补全后面。找到"ShmSize": 67108864（64MB），并将其修改为您需要的值，例如"ShmSize": 34359738368（16GB）。原因：cd是Linux内建的命令而不是应用程序，sudo只对应用程序起作用，不能使用sudo cd。提升到root权限后再执行以上命令。会报错sudo: cd：找不到命令。注：这里会报权限不足，如果直接。

揭秘Docker共享内存瓶颈：如何正确配置shm-size提升应用性能

最新发布

CodeIsle的博客

11-30

811

解决Docker共享内存不足问题，详解如何配置容器共享内存大小。适用于高并发、大数据传输等场景，通过调整shm-size参数提升应用性能，避免临时文件写入失败。配置灵活，显著增强容器稳定性，值得收藏。

修改docker中共享内存（shm）大小

lee_881的博客

09-15

7853

修改docker中共享内存（shm）大小

docker修改shm-size

wd18508423052的博客

04-30

1万+

在docker容器内跑深度学习模型的shm错误报错：ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory (shm). 原因：主要是shm size太小了解决办法：方法一：删除当前容器，从新创建一个新的容器，加上参数–shm-size 4G docker run -it --shm-size 4G 镜像名 /bin/bash 这种方法需要在创建的时候

Docker --shm-size参数含义

Dontla的博客

03-20

1603

是一个临时文件系统（tmpfs），用于存储共享内存。默认情况下，Docker 容器的共享内存大小是 64MB。如果你的应用程序需要更多的共享内存，比如某些数据库或需要大量内存的应用程序，你可以通过。将共享内存大小设置为 1GB。这样可以确保应用程序在容器中有足够的共享内存来正常运行。是一个用于 Docker 的参数，用来设置容器的共享内存大小。参数来增加共享内存的大小。在 Docker 中，

k3s配置docker容器/dev/shm

SteveForever的博客

07-13

1094

要扩大K3s和Docker容器的/dev/shm使用 Docker 的--shm-size选项直接设置容器的共享内存大小。在Kubernetes的Pod或Deployment配置文件中使用emptyDir卷来设置共享内存大小。修改 Docker 的配置文件来全局更改默认的共享内存大小。

kfx1@ubuntu:~/666$ export DOCKER_SOCK="${DOCKER_HOST:-/var/run/docker.sock}" kfx1@ubuntu:~/666$ echo $DOCKER_SOCK /var/run/docker.sock kfx1@ubuntu:~/666$ uname -r 5.15.0-139-generic kfx1@ubuntu:~/666$ docker run -it --rm --gpus all --shm-size=32g --ipc=host -e PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128 -e CUDA_LAUNCH_BLOCKING=1 -p 5000:5000 -p 8080:8080 -v "$dataset_path":/data rdk_toolchain:v1.3 docker: invalid spec: :/data: empty section between colons Run 'docker run --help' for more information kfx1@ubuntu:~/666$ docker run -it --rm --gpus all --shm-size={你的内存大小例如：32g} --ipc=host -e PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128 -e CUDA_LAUNCH_BLOCKING=1 -p 5000:5000 -p 8080:8080 -v "$dataset_path":/data rdk_toolchain:v1.3 invalid argument "{你的内存大小例如：32g}" for "--shm-size" flag: strconv.ParseFloat: parsing "{你的内存大小例如：32": invalid syntax Usage: docker run [OPTIONS] IMAGE [COMMAND] [ARG...] Run 'docker run --help' for more information kfx1@ubuntu:~/666$ ^C 上面有报错吗

05-21

此错误通常发生在传递给 `--shm-size` 参数的值不符合 Docker 所接受的标准格式时。合法的值包括整数（单位默认为字节）、带单位的数值（如 `32G`, `64M`），或者特殊关键字如 ` unlimited`。 ##### 解决方法 - ...

共享内存简介及docker容器的shm设置与修改

热门推荐

weixin_44966641的博客

04-02

4万+

共享内存简介及docker容器的shm设置与修改共享内存简介共享内存指 (shared memory)在多处理器的计算机系统中，可以被不同中央处理器（CPU）访问的大容量内存。由于多个CPU需要快速访问存储器，这样就要对存储器进行缓存（Cache）。任何一个缓存的数据被更新后，由于其他处理器也可能要存取，共享内存就需要立即更新，否则不同的处理器可能用到不同的数据。共享内存是 Unix下的多进程之间的通信方法 ,这种方法通常用于一个程序的多进程间通信，实际上多个程序间也可以通过共享内存来传递信息。实际上

如何修改和限制shm的大小

03-04

本文介绍了修改和限制shm的大小的方法。

docker run的--shm-size是干嘛用的

qq_15821487的博客

08-30

6492

shm-size 参数用于设置 Docker 容器中共享内存（Shared Memory）的大小。共享内存是一种进程间通信（IPC）机制，它允许多个进程共享一块内存区域，从而可以快速地交换数据。在容器化的环境中，共享内存对于需要频繁进行数据交换的应用程序非常有用，比如在进行大数据处理或者高性能计算时。好的，我来尽量通俗地解释一下。

ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memor

weixin_39536859的博客

03-25

794

ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory (shm). 需要把dataloader里面的num_works设置成1

如何修改docker容器的shmsize共享内存大小

扇扇子的炼丹师

10-29

945

文章目录报错原因解决方法：报错原因在跑train时提示如下 RuntimeError: DataLoader worker (pid 6209) is killed by signal: Bus error. It is possible that dataloader's workers are out of shared memory. Please try to raise your shared memory limit. 解决方法：停止docker // 停止docker服务 s

修改 docker /dev/shm 的大小

weixin_43545410的博客

10-25

2964

启动时通过 --shm-size 参数指定 docker run -it --shm-size="1g" --name 001 busybox:latest /bin/sh 容器启动后修改 1.docker ps | grep containerName 2.获取完整 Id [root@linfs-bigdata containers]# docker inspect 641ae8c59c0d | grep Id "Id": "641ae8c59c0d20814d489cdc17a32f6

docker-compose编排参数详解

ss810540895的博客

04-26

4771

Compose是一个用于定义和运行多容器Docker应用程序的工具。使用Compose，您可以使用YAML文件来配置应用程序的服务。然后，使用单个命令，您可以从配置中创建并启动所有服务。Compose可以.yml 或 .yaml 作为文件扩展名。Compose适用于所有环境：生产，登台，开发，测试以及CI工作流程。关于 docker compose 技术可以查看官方文档以下的内容是确立在已经下载好 Docker 以及 Docker Compose，可参看 Docker Compose 的官方安装教程。