【故障诊断】使用多线程，程序不报错，但就是不运行

最新推荐文章于 2022-08-07 10:35:57 发布

鲤鱼王的成长之路

最新推荐文章于 2022-08-07 10:35:57 发布

阅读量1k

点赞数 1

分类专栏：故障诊断文章标签： python

本文链接：https://blog.youkuaiyun.com/Michael_Cretu_/article/details/125312120

版权

【故障诊断】使用多线程，程序不报错，但就是不运行

故障现象
原因分析
解决方案

故障现象

使用多线程的时候，主函数尚且还在执行，但子函数却不执行。

if __name__=='__main__':
    print('Parent process %s.' % os.getpid())
    p = Pool(processes = 4)
    for i in

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

鲤鱼王的成长之路

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

FlinkTaskManager的性能指标与故障诊断

AI天才研究院

06-12

1030

FlinkTaskManager的性能指标与故障诊断 1.背景介绍 1.1 Flink简介 Apache Flink是一个开源的分布式流处理和批处理框架,由Apache软件基金会开发。Flink以数据并行和流水线方式执行任

MySQL主从不一致问题相关处理

09-26

1万+

某业务采取mysql的主从架构，但因为存储的问题，导致备库一直无法存储，数据同步一致性问题一直也未恢复，某次安全检查要求完成主备倒换演练，必须限期恢复主备，但是在恢复过程中，同步显示正常一段时间后，便会出现sql线程异常，主备数据不一致导致的同步错误情况。主数据库上面设置的max_allowed_packet比从数据库大，当一个大的sql语句，能在主数据库上面执行完毕，从数据库上面设置过小，无法执行，导致的主从不一致。根据上面的NR行数，查看附近的行，定位数据不一致的地方，后续手动补全。

参与评论您还未登录，请先登录后发表或查看评论

python3.7 写了一个多线程，啥反应都没有，也不报错，该怎么Debug哪里出现问题呢？

qq_38192709的博客

07-22

1038

问题描述： python 3.7 跟着写了一段代码，运行后，什么错误都没有显示，也没有报错，求大神帮忙看一下 # -*- coding=utf-8 -*- import threading from queue import Queue from lxml import etree import requests import json class ThreadCrawl(threading.Thread): def __init__(self, thread_name, page_queue,

使用pool的多进程，不执行的问题

weixin_33675507的博客

08-28

2556

from multiprocessing import Pool def fetch_data(idlist,test): pass p=Pool(4) result=[] for i in range(0,len(idlist)-2,2): result.append(p.apply_async(fetch_da...

Python学习笔记——用多线程处理界面没有响应的问题

cc的专栏

08-07

1409

在处理复杂的任务的时候，不能把任务写在UI线程里，需要单独使用线程处理。这一章，我们用线程池处理UI不响应的问题。

Python 多线程操作操作，线程2不执行

Jian

03-03

4563

Python 多线程操作操作，线程2不执行问题：在多线程操作过程中，线程1中的有死循环，在执行的过程中，线程2一直不执行。 Code before update import threading import time class test(): def print_111(self): while 1: pri...

多线程并发，子线程不执行问题（模拟并发抽奖）

Markix的博客

04-19

2614

今天在做模拟并发抽奖的demo，遇到并发子线程不运行的问题。运行以下代码，控制台输出“抽奖开始...”，后面有时候会输出子线程中的语句“玩家:xxx 兑奖码:xxx”，有时候不输出，我就纳闷了！代码如下：@Test public void test01(){ //锁住所有线程，等待并发执行 final CountDownLatch begin = new CountDownL...

【OpenCV故障排除】：一步到位解决cvarrToMat报错，提升代码质量

![【OpenCV故障排除】：一步到位解决cvarrToMat报错，提升代码质量]...最后，文章深入探讨了性能优化的策略，从代码和系统两个层面着手，包括选择高效的算法和数据结构以及应用多线程

【Nginx故障排查大揭秘】：文件上传报错500的详细诊断流程

[【Nginx故障排查大揭秘】：文件上传报错500的详细诊断流程](https://opengraph.githubassets.com/7aa77669d2878536e0683ee4652d7744f60f9ff01f0fc88f96385c1c80bd73d9/nginx/nginx) # 摘要本文针对Nginx服务器的...

python代码没错但运行不出来_python代码没有错误却无法运行的原因-Python shell没有显示错误，但程序没有运行......

weixin_33736279的博客

01-14

2844

我写了这个程序来学习OOP的基础知识。当我在Python Shell中从IDLE运行这个程序时，它没有显示任何错误但也没有打印任何东西......我不知道如何去弄清楚我的错误是什么。这是我的代码：class Shapes(object):def __init__(self, width, length):object.__init__(self)self.setWidth(width)self.s...

使用QtConcurrent::run创建线程，出现某个甚至某几个线程不运行的情况解决方法

$firecat利白的代码足迹$

06-09

1921

在项目中遇到问题，建了一个类，创建6个子类对象，开了六个线程，读取录像文件播放，始终只有4个线程在运行。下面代码为网上找到的简单的问题示例出现这个问题的原因是当前的机器的线程池只支持8个线程而我测试自己项目程序的机器默认最大只支持4个线程；解决方式如下：工程文件添加QT+=concurrent 不同硬件环境配置下的程序是有默认最大线程数的； QThreadPool::globalInstance()->maxThreadCount()可查看当前环境最大线程数,那么显...

multiprocess模块使用进程池调用apply_async()提交的函数及回调函数不执行问题

ITMAN009的博客

04-03

3453

使用multiprocesss模块遇到各种各样的问题，这次遇到的问题是调用进程池对象的 apply_async() 方法，往进程池传递一个实例方法（该实例方法里有一段代码是往同步队列里放入数据），然后发现往进程池扔的任务（即实例方法）不会被执行，回调方法也不执行。心塞~ 以下是出现问题的代码 import ctypes import datetime import random import ti...

为什么python不报错不出结果_Python子线程错误不报错

weixin_39716703的博客

12-01

1502

在项目中用到多线程，今天测试方法发现程序没有报错正常退出，可是循环却没有执行，于是开始了漫长的bug寻找过程，最终确认了错误点，写出来给大家提醒下。代码如下：import pandas as pdfrom concurrent.futures import ThreadPoolExecutorexecutor = ThreadPoolExecutor(8)def start(): print...

线程的中断

is_Javaer的博客

11-23

1155

我们都知道线程被终止一般有两个原因：一是run()方法正常执行完毕而自然死亡；二是因为一个没有捕获的异常终止了run方法而异外死亡。当一个线程在正常执行完毕之前被中断是一件很可怕的事情，会出现很多意想不到的事情，比如不能归还锁而造成死锁现象，stop()方法和destroy()方法就是因此而被废弃的。在前一篇博客中，我们尝试了利用一些变量以指示目标线程应该停止运行来达到线程终止的目的。在Jav...

多线程常见问题

qq_44601070的博客

01-06

385

多线程常见问题

python 进程池不执行任务的坑

tankpanv的博客

11-13

2721

from multiprocessing import Lock, Manager, Pool, managers all_manager = Manager() all_dict = all_manager.dict() all_lock = all_manager.Lock() def run(): p = Pool(processes=16) array = [1,2,3] results = [] for i in array : .

Junit单元多线程测试子线程不执行

漠北空城

01-17

4669

Junit单元测试子线程不执行 Junit单元测试子线程不执行环境 - Junit：4 - jdk：1.8 1、现象描述在测试CountDownLatch类时，使用main函数能够正常运行的功能，改用Junit测试时，Debug调试时不进入子线程执行，直接运行时，有时候能够执行子线程中的部分代码，具体程序如下： import org.junit.Test; impor

python多进程消息队列_Python高级编程之消息队列(Queue)与进程池(Pool)实例详解

weixin_39889597的博客

11-28

436

本文实例讲述了Python高级编程之消息队列(Queue)与进程池(Pool)。分享给大家供大家参考，具体如下：Queue消息队列1.创建import multiprocessingqueue = multiprocessing.Queue(队列长度)2.方法方法描述put变量名.put(数据)，放入数据(如队列已满，则程序进入阻塞状态，等待队列取出后再放入)put_nowait变量名.put_n...

python主线程执行_python如何使用多线程执行多个函数？

weixin_39617484的博客

11-24

165

之前小编给大家介绍了用python去返回了一个值，立马就有小伙伴跟小编留言说道“能都执行多个内容？”于是，小编就给大家整理最细致，也是最简单的实现方法，方便大家理解学习，一起来看下吧~直接上代码，多线程同时执行多个函数代码如下：import timeimport osimport threadingdef open_calc():with open('test.txt', 'r') as f:fo...

yolov11用GPU训练莫名结束并且不报错

最新发布

03-16

<think>嗯，用户提到YOLOv11用GPU训练时莫名结束且不报错，这个问题需要仔细分析可能的原因。首先，我应该回忆一下常见的训练中断情况。可能的原因包括显存不足、数据加载问题、软件版本冲突、硬件故障等。用户没有提到错误信息，所以得考虑那些不报错的情况。首先，显存不足是常见问题。尽管程序有时会报CUDA内存错误，但有时候可能直接崩溃。需要检查训练时的显存使用情况，比如用nvidia-smi查看显存占用是否接近上限。如果批量太大或者模型太大，可能导致显存耗尽，尤其是在训练过程中某个阶段突然增加内存需求时。其次，数据预处理或加载的问题。比如数据损坏、数据格式错误，可能在读取时导致进程终止。特别是多线程数据加载（DataLoader的num_workers设置过高）有时会引起问题，尤其是在Windows系统下。建议用户尝试减少num_workers或设置为0，看看问题是否解决。软件版本兼容性也是一个可能性。PyTorch和CUDA版本不匹配，或者YOLOv11代码依赖的库版本有问题，可能导致不稳定。建议用户检查版本是否符合要求，更新或回退到稳定版本试试。硬件问题，比如GPU过热或电源不稳定，可能导致训练中断。用户可以用监控工具查看GPU温度，或者运行其他GPU密集型任务测试稳定性。代码中的潜在bug也不能排除。比如在损失计算或特定层的前向传播中存在错误，可能在特定条件下触发崩溃。可以尝试简化模型，逐步排除模块，或使用调试工具检查是否有异常。日志和检查点方面，用户可能没有开启足够的日志信息，导致问题难以追踪。建议增加日志输出，或者在代码中添加异常捕获，查看是否有隐藏的错误信息。还有可能是资源竞争问题，比如其他进程占用GPU资源，导致训练被终止。检查是否有其他程序在后台运行，占用显存或计算资源。另外，用户的操作系统或驱动程序问题也可能导致此类情况。更新GPU驱动，或者检查系统日志（如Linux的dmesg）是否有相关错误记录。最后，建议用户分步骤排查：先尝试缩小数据集，降低批量大小，看是否问题依旧；然后检查显存使用，调整数据加载设置，接着验证软件版本，最后考虑硬件和系统因素。如果所有方法无效，可能需要联系开发者社区，看看是否有已知问题或解决方案。</think>关于YOLOv11使用GPU训练时莫名结束且不报错的问题，以下是逐步排查和解决方案： --- ### **1. 显存不足（最常见原因）** - **现象**：训练突然终止，无报错信息 - **检测方法**： - 使用 `nvidia-smi -l 1` 实时监控显存占用 - 检查训练日志中显存峰值（PyTorch用户可添加`torch.cuda.max_memory_allocated()`） - **解决方案**： - 降低`batch_size`（每次减少50%测试） - 使用更小的输入分辨率（如从640x640改为416x416） - 启用混合精度训练（`amp=True`） - 添加梯度累积（`accumulate=4`） --- ### **2. 数据加载异常** - **现象**：训练在某个epoch随机终止 - **检测方法**： - 设置`num_workers=0`测试是否稳定 - 使用`try-except`包裹数据加载代码 - **解决方案**： ```python # 示例：调试数据加载 from torch.utils.data import DataLoader try: for batch_idx, (images, targets) in enumerate(dataloader): # 训练代码 except Exception as e: print(f"Error in batch {batch_idx}: {str(e)}") print("Problematic image paths:", dataset.img_files[batch_idx*bs:(batch_idx+1)*bs]) ``` --- ### **3. CUDA与驱动兼容性问题** - **检测步骤**： 1. 运行CUDA官方测试工具： ```bash git clone https://github.com/NVIDIA/cuda-samples cd cuda-samples/Samples/1_Utilities/deviceQuery make ./deviceQuery ``` 2. 验证PyTorch CUDA状态： ```python import torch print(torch.cuda.is_available()) # 应为True print(torch.randn(2,3).cuda()) # 应无报错 ``` --- ### **4. 硬件稳定性问题** - **诊断方法**： - 压力测试GPU： ```bash # Linux安装：sudo apt-get install stress-ng stress-ng --matrix 0 -t 1h --metrics ``` - 监控温度： ```bash watch -n 1 nvidia-smi -q -d temperature ``` --- ### **5. 代码层调试技巧** - **分段验证法**： 1. 仅前向传播： ```python model.eval() with torch.no_grad(): for images, _ in dataloader: model(images.cuda()) ``` 2. 逐步添加训练组件（损失计算、反向传播、优化器step） - **版本回退法**： ```bash # 尝试指定PyTorch稳定版本 pip install torch==2.0.1 torchvision==0.15.2 --extra-index-url https://download.pytorch.org/whl/cu117 ``` --- ### **6. 系统级日志排查** - **Linux系统**： ```bash dmesg | grep -i nvidia # 查看内核级NVIDIA错误 journalctl -f -k # 实时监控内核日志 ``` - **Windows系统**：查看事件查看器 → Windows日志 → 系统日志 --- ### **推荐诊断流程** 1. 使用最小配置测试（batch_size=1，单GPU） 2. 创建虚拟数据集测试（如10张图片） 3. 在CPU模式下运行对比测试 4. 逐步开启混合精度/多卡训练如果问题仍然存在，建议提供以下信息向开发者反馈： - `nvidia-smi` 完整输出 - `pip list` 中的关键包版本 - 训练开始后前20个batch的完整日志 - 使用的配置文件（.yaml）关键参数