训练跑一半不动了，停在data = self._data_queue.get(timeout=timeout)

已于 2023-02-16 10:23:47 修改
阅读量1.9k 收藏 2
点赞数 1
文章标签： python
于 2023-02-12 14:13:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_35724582/article/details/128994446
版权
文章讨论了在使用opencv-python时遇到的线程问题，尝试通过卸载conda版本并用pip安装来解决，同时也调整了num_workers参数，发现设置为2时程序运行正常，但8和4则不行。数据预处理未发现问题。另外，将环境切换到torch1.8也解决了问题。作者分享了一个调试技巧，即通过Ctrl+C查看代码停在哪一行来定位问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

可能是第三方库导致的线程问题，可以num_workers设置为0，但是太慢，github上说卸载conda安装的opencv-python 用pip install 安装，cv2是第三方库，可能是其导致的线程问题，也可能是dataloader里的数据有点问题，导致的线程出错啥的，所以我

1、重新装了opencv-python

2、numworks设置成2，就好使了，8还是不行，4也不行，也没有筛选不好的数据，数据应该是没啥问题，而且numworkers设置成4感觉比8快好多？

pip install opencv-python --user(--user是为了避免权限不够报错的问题)

另一种方式：换成torch1.8就也可以

一个调试经验：当程序不动时可以ctrl + c然后看终端里是在哪一行里代码停止的，来看程序卡到哪里

my墨羽
关注
Pytorch源码解读——DataLoader模块
weixin_43896884的博客
09-14 3820
torch/utils/data/_utils/dataloader.py 通常在使用pytorch训练神经网络时，DataLoader模块是整个网络训练过程中的基础前提且尤为重要，其主要作用是根据传入接口的参数将训练集分为若干个大小为batch size的batch以及其他一些细节上的操作。一个典型的数据加载以及batch训练过程如下：（其中的args后面会详细解释） loader = torch.utils.data.DataLoader(args) for data, label in loader:
tensoflow模型训练后怎么保存？模型训练了一半中断怎么继续训练？模型怎么加载使用？这里都有~~~
汪雯琦的博客
03-06 7414
文章目录模型的保存方法第一步：实例化第二步：模型的保存案例训练了一半的模型继续训练第一步：加载之前的模型案例 模型的保存方法 第一步：实例化 在会话的前面 # 添加一个saver保存模型！！！！！！！！！！！！！！ saver = tf.train.Saver()#实例化 第二步：模型的保存 saver.save(sess, "./summary/ckpt/linear/linear_regre...
data = self._data_queue.get(timeout=timeout)RuntimeError: DataLoader worker (pid(s) 8528, 8488) exit
ifhuke的博客
09-07 1144
解决报错data = self._data_queue.get(timeout=timeout)RuntimeError: DataLoader worker (pid(s) 8528, 8488) exit
data = self._data_queue.get(timeout=timeout)
jacke121的专栏
01-17 935
data = self._data_queue.get(timeout=timeout)
pytorch在dataloader卡住
qq_41917697的博客
04-05 2255
问题描述： 程序卡死在了dataloader（），但是原本是可以跑的，中途中断了一次之后，后来就不行了。 原因分析： 这种情况应该是属于pytorch多线程锁死，大多数情况是numwork数量多于了cpu的核数。 解决方案： 1.查看CPU个数 cat /proc/cpuinfo | grep "physical id" | uniq | wc -l 2.查看CPU核数 cat /proc/cpuinfo | grep "cpu cores" | uniq numwork设置为6。 ...
Traceback (most recent call last): File "F:\conda\envs\yolov5\lib\site-packages\torch\utils\data\dataloader.py", line 1132, in _try_get_data data = self._data_queue.get(timeout=timeout) File "F:\conda\envs\yolov5\lib\queue.py", line 179, in get
06-11
这个错误通常是由于数据加载器无法读取数据而引起的。这可能是由于数据加载器无法访问数据文件，或者数据文件已损坏等原因导致的。 以下是一些可能的解决方案： 1. 检查数据文件是否存在。请确保数据文件的路径...
为了解决上述问题，以下是修改后的代码： ```python import hashlib import streamlit as st import sqlite3 import pandas as pd from datetime import datetime, timedelta, time as datetime_time import threading from queue import Queue # 数据库配置 DB_PATH = "enterprise.db" MAIN_TABLE = "生产结果表" class ThreadSafeDB: """线程安全的数据库连接池""" _instance = None _lock = threading.Lock() def __new__(cls): with cls._lock: if not cls._instance: cls._instance = super().__new__(cls) cls._instance._connection_pool = Queue(maxsize=5) for _ in range(5): conn = sqlite3.connect( DB_PATH, check_same_thread=False, timeout=10 ) cls._instance._connection_pool.put(conn) return cls._instance def get_conn(self): return self._connection_pool.get() def return_conn(self, conn): self._connection_pool.put(conn) def get_db_connection(): """获取数据库连接（线程安全）""" db_pool = ThreadSafeDB() return db_pool.get_conn() @st.cache_data(ttl=3600, show_spinner=False) def fetch_production_data(params): """获取生产数据（线程安全版本）""" try: conn = get_db_connection() try: where_clause, args = build_base_query(params) base_query = f"SELECT * FROM `{MAIN_TABLE}`" if where_clause: base_query += f" WHERE {where_clause}" df = pd.read_sql(base_query, conn, params=args) return df finally: ThreadSafeDB().return_conn(conn) except Exception as e: st.error(f"数据库查询失败: {str(e)}") return pd.DataFrame() def build_base_query(params): """构建基础查询条件""" conditions = [] args = [] if params.get('unit'): conditions.append("机组名 = ?") args.append(params['unit']) if params.get('start_time'): conditions.append("生产开始时间 >= ?") args
最新发布
03-20
另外，代码里用了列表推导式来分割数组，这在Python里是可行的，但每次递归都会创建新列表，可能导致内存消耗较大。对于大规模数据，这可能会影响性能。可以考虑原地排序的版本，虽然实现起来复杂一些，但能节省内存...
pytorch dataload源码解读
qq_27172615的博客
01-30 553
执行流程：初始化dataloader -> 创建索引策略(sample) -> 迭代 __next__ -> 选择选择进程迭代器 -> 工作进程读取索引，数据 放入队列中 -> 主进程从队列中取得数据 -> 完成迭代。sample: 负责随机策略， 通过dataset的 len() 初始化一个索引列表。batchsample: 负责切取 batch大小的索引列表。_MultiProcessingDataLoaderIter ： 完成迭代策略，因为数据先读到队列里，所以内存压力很大。
dataloader 源码_PyTorch之DataLoader杂谈
weixin_39622150的博客
12-21 561
输入数据PipeLinepytorch 的数据加载到模型的操作顺序是这样的：①创建一个Dataset对象②创建一个DataLoader对象③循环这个DataLoader对象，将img, label加载到模型中进行训练dataset = MyDataset()dataloader = DataLoader(dataset)num_epoches = 100for epoch in ran...
深度学习项目训练时突然卡住或崩盘问题
热门推荐
weixin_41108060的博客
11-23 1万+
问题1：训练到某个epoch或batch突然停住或报错 可能原因如下： 前一进程还未处理完，又进入下一个导致互锁，在一个Epoch完了后，或者每次获取一个batch数据后停顿一下： time.sleep(0.003) 内存问题，使用开关：pin_memory=True/False 多进程导致互锁问题，减少进程数，或直接使用一个：num_workers=0/1 使用其他DataLoader的问题，改为： from torch.utils.data.dataloader
Pytorch模型训练出现fd_event_list = self._poll.poll(timeout)问题
飞机火车巴雷特的博客
10-12 6151
pytorch模型训练出现fd_event_list = self._poll.poll(timeout)问题的解决方案
data = self._next_data() raise StopIteration
weixin_43900395的博客
12-26 682
数据加载的时候报错，发现是因为batch_size的大小大于我的样本数量了，将batch_size改小即可。
DataLoader多线程报错问题解决
qq_37566138的博客
11-04 2211
（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练； （2）iteration：1个iteration等于使用batchsize个样本训练一次； （3）epoch：1个epoch等于使用训练集中的全部样本训练一次，通俗的讲epoch的值就是整个数据集被轮几次。 因为window和liux的差距，所以需要将运行封装起来，如下 ...
问题贴，今天遇见了个问题，解决了一天都没解决
Jason_WangYing的博客
09-12 442
今天用多线程写了个类，获取ts文件内容，并用另一个线程写入对应的文档，但是预计了个奇怪问题，文件写入，只能写入获取文件数据一半的数据量，到现在也没搞明白怎么回事。先记录下，等过几天有空了，再详细解决下。
《动手学深度学习》之深度卷积神经网络（AlexNet）
乾巽的博客
02-06 438
参考深度卷积神经网络（AlexNet） import time import torch from torch import nn, optim import torchvision import sys sys.path.append("..") import d2lzh_pytorch as d2l device = torch.device('cuda' if torch.cuda....
Pytorch.Dataloader 详细深度解读和微修改源代码心得
u013153465的博客
12-05 7346
关于pytorch 的dataloader库，使用pytorch 基本都会用到的一个库 今天遇到了一个问题，我在训练的时候，采用batch_size =2 去训练，最终的loss抖动太大了，看得出来应该是某些样本在打标的时候打的不好导致的，需要找出这些样本重新修正。但是一开始是采用的dataloader默认库。然后输入进去的图像dataset 传出来之后是经过shuffle的，没有办法定位到哪张...
mmsegmentation修仙之路-bug篇（3）
stone_tigerLI的博客
06-13 3190
合集目录。
【CondInst】 の 填坑指南
墨瞳的Blog
01-22 1896
问题1：gnutls_handshake() failed: A TLS packet with unexpected length was received. fatal: unable to access ‘https://github.com/facebookresearch/detectron2.git/’: gnutls_handshake() failed: A TLS packet with unexpected length was received. 解决方案： 执行以下代码： git
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值