UserWarning: semaphore_tracker: There appear to be 4 leaked semaphores to clean up at shutdown

最新推荐文章于 2025-04-16 20:42:07 发布

转载最新推荐文章于 2025-04-16 20:42:07 发布 · 1.5k 阅读

3 ·

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/weixin_43915709/article/details/100985631

文章标签：

#docker

部署运行你感兴趣的模型镜像

UserWarning: semaphore_tracker: There appear to be 4 leaked semaphores to clean up at shutdown

忽略错误
export PYTHONWARNINGS='ignore:semaphore_tracker:UserWarning'
参考：https://blog.youkuaiyun.com/ustczhng2012/article/details/115716254

  	https://blog.youkuaiyun.com/bxg1065283526/article/details/108403618

您可能感兴趣的与本文相关的镜像

Python3.10

Conda

Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ArmyD

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

错误UserWarning: semaphore_tracker: There appear to be 4 leaked semaphores to clean up at shutdown

bxg1065283526的博客

09-04

2万+

最近在跑代码的时候总是会遇到这个错误，明明是UserWarning，但是程序会停止运行，错误提示为 multiprocessing/semaphore_tracker.py:144: UserWarning: semaphore_tracker: There appear to be 4 leaked semaphores to clean up at shutdown len(cache)) 查了很多资料，这个问题似乎很早之前就有，最早能找到的是在2013年，但是没有什么很好的解决方法，最终发现

python爬虫基础知识点,Python爬虫基础知识点：多进程的应用讲解

weixin_35417884的博客

03-26

494

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者：东哥IT笔记现在很多CPU都支持多核，甚至是手机都已经开始支持多核了。而Python的GIL(Global Interpreter Locko)则使得其没法使用这些多核带来的优势。还好从Python2.6开始，引入了multiprocessing模块，我们终于可以使用多核...

参与评论您还未登录，请先登录后发表或查看评论

docker 多线程（multiprocessing）报错：leaked semaphores 以及 bus error (core dumped)

球场恶汉的博客

09-18

1万+

在docker容器中运行多线程程序时，出现了bus error以及leaked semaphores 警告： /opt/conda/lib/python3.6/multiprocessing/semaphore_tracker.py:143: UserWarning: semaphore_tracker: There appear to be 3 leaked semaphores to clea...

深度学习遇到问题

qq_41537900的博客

03-28

4179

UserWarning: semaphore_tracker: There appear to be 4 leaked semaphores to clean up at shutdown

Python 运行时出现 UserWarning: semaphore_tracker 问题解决（实际上是忽略方法）

呆呆象呆呆的博客

07-10

1万+

UserWarning: resource_tracker: There appear to be 20 leaked semaphore objects to clean up at shutdow

anglehhhhh的博客

05-25

5817

因为两张卡的可用资源不平衡，所以需要调整bs，或者用显存资源相对平衡的多CPU。单卡上的进程用kill杀掉而不是kill -9，使得终止进程时来得及清理资源。

【Docker运行报错】[ERROR] TBE Subprocess[task_distribute] raise error[], main process disappeared!

weixin_43941438的博客

12-26

4738

（报错与原因记录）

mmdetection多卡训练中报警告semaphore_tracker: There appear to be 14 leaked semaphores to clean up at shutdow

weixin_44777827的博客

08-25

1万+

最近自己写了个模型，采用mmdetection框架去训练coco数据集。由于数据集较大，单卡情况下预计需要一个月时间才能完成1x的训练。这无法容忍，于是采用多卡分布式训练。首先，第一次由于batchsize过大，导致显存爆了。调整batchsize后，报如下错误：显示有信号泄露警告，起初以为只是警告忽略就可，主要关注其中的error错误，百度这个错误，网上并没有关于这个问题的解答。于是关注于警告的部分，这个警告的解决方案，可以参考相关博文： UserWarning: semaphore_tracker

pytorch错误及解决方案

热门推荐

John Kang的博客

04-15

3万+

pytorch错误及解决方案目录 RuntimeError: CUDA error: device-side assert triggered RuntimeError:invalid argument 5:k not in range for dimension at /pytorch/ate ... ValueError: optimizer got an empty parameter list The size of tensor a (197) must match the..

144 UserWarning: semaphore_tracker: There appear to be 26 leaked semaphores to clean up at shutdown

qq_36955294的博客

03-14

3230

/opt/conda/lib/python3.7/multiprocessing/semaphore_tracker.py:144: UserWarning: semaphore_tracker: There appear to be 26 leaked semaphores to clean up at shutdown len(cache)) 转别人的解决办法 export PYTHONWARNINGS='ignore:semaphore_tracker:UserWarning' ...

Python任意进程共享内存

紫空的博客

12-15

5809

Python跨进程、跨语言共享内存

Python基础知识点：多进程的应用讲解

Python案例分享，B站视频教程：https://space.bilibili.com/523606542

07-21

4093

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。作者：东哥IT笔记现在很多CPU都支持多核，甚至是手机都已经开始支持多核了。而Python的GIL（Global Interpreter Locko）则使得其没法使用这些多核带来的优势。还好从Python2.6开始，引入了multiprocessing模块，我们终于可以使用多核带来的便利了。本文，你会学习到下面这些内容：使用多进程的优点使用多进程的缺点 .

欣赏一个尚未关闭的python运行时bug

含光左卫的工作笔记集

05-15

2473

python sharedmemroy跨进程使用时的运行时bug，讨论，及修复。

【Mac-ML-DL】深度学习使用MPS出现内存泄露（leaked semaphore）以及张量转换错误

G2Esports_NiKo的博客

04-16

1489

如果还有问题可以私信我，信得过我的话，免费帮你看看代码，但是本人实力有限，不一定能解决，但是尽量帮助，大家一起进步！

Pytorch遇到的错误及解决方法

zx93的博客

09-15

3807

Pytorch遇到的错误及解决方法

ubuntu下alphapose 需要的配置小记

12-20

2818

走了好多弯路啊~~~ 1.alphapose 1)Get the code. git clone -b pytorch https://github.com/MVIG-SJTU/AlphaPose.git 2)Install pytorch 源码安装(命令行安装见2) chmod +x install.sh ./install.sh 3)Download the models ma...

UserWarning: resource_tracker: There appear to be 30 leabjects to clean up at shutdown

最新发布

08-16

在Python的多进程编程中，`resource_tracker` 警告提示“`There appear to be 30 leaked objects to clean up at shutdown`”表明程序在关闭时检测到有30个资源对象（如信号量、共享内存等）未被正确释放[^1]。这种警告通常来源于 `multiprocessing` 模块中未正确清理的资源，尤其是在多卡训练或并发任务中，若程序异常退出或未正确管理资源释放，容易导致此类问题。 ### 原因分析 1. **资源未正确释放**：当程序创建了信号量、共享内存等资源后，若未显式调用 `close()` 或 `unlink()` 方法，资源将不会被自动释放，导致资源泄露。 2. **进程异常终止**：在双卡或多卡训练中，若某个进程异常终止（如使用 `kill -9`），操作系统无法在进程退出前执行清理逻辑，导致资源未释放[^2]。 3. **多进程协作问题**：多个进程共享资源时，若一个进程提前退出，而其他进程仍在使用该资源，可能导致资源无法释放，从而触发警告[^4]。 ### 解决方案 1. **显式释放资源**： - 在使用 `multiprocessing.Value`、`multiprocessing.Array` 或 `multiprocessing.shared_memory.SharedMemory` 时，确保在不再使用资源后调用 `close()` 和 `unlink()` 方法。 - 对于信号量（`multiprocessing.Semaphore`），确保在进程结束时释放所有信号量。 2. **避免使用 `kill -9`**： - 使用 `kill` 命令时，优先使用 `SIGTERM`（默认信号），它允许进程执行清理逻辑后再退出。只有在进程无响应时才使用 `SIGKILL`（即 `kill -9`）。 3. **使用上下文管理器**： - 使用 `with` 语句管理资源，如 `with multiprocessing.Pool() as pool:`，可以确保资源在使用后自动释放。 4. **设置资源清理钩子**： - 在程序中注册 `atexit` 钩子，确保即使程序异常退出，也能执行资源清理逻辑。 ```python import atexit from multiprocessing import shared_memory shm = shared_memory.SharedMemory(create=True, size=1024) def cleanup(): shm.close() shm.unlink() atexit.register(cleanup) ``` 5. **检查多进程协作逻辑**： - 确保所有进程在退出前完成资源释放，避免一个进程提前退出导致其他进程无法访问共享资源。 6. **升级Python版本**： - 某些旧版本的 Python（如 3.7）在资源管理上存在已知问题，升级到 Python 3.9 或更高版本可改善资源跟踪机制[^3]。 ### 警告的影响虽然该警告本身不会导致程序崩溃，但长期忽略可能导致资源耗尽（如信号量或共享内存泄漏），从而影响后续程序的运行。因此，建议始终解决资源泄露问题，而不是简单忽略警告。 ---