深度学习 问题 batch_descriptor: {count: 0 feature_map_count: 64 spatial: 7 7 4 value_min: 0.000000 value_

最新推荐文章于 2023-11-27 16:35:07 发布
原创 最新推荐文章于 2023-11-27 16:35:07 发布 · 407 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#batch #深度学习 #tensorflow

在Keras或Tensorflow进行单机多GPU分布式训练时，如果遇到batch_descriptor错误，通常是由于最后一个batch的样本数少于GPU数量。解决方法是在构建dataset时，使用`batch()`方法并设置`drop_remainder=True`，丢弃不足分配的最后一个batch，以避免训练中断。这样可以确保每个GPU都有足够的样本进行训练。

深度学习 问题 batch_descriptor: {count: 0 feature_map_count: 64 spatial: 7 7 4 value_min: 0.000000 value_max: 0.000000 layout: BatchDepthYX}

问题描述

Keras/Tensorflow在进行分布式（单机多GPU）训练时，出现如下问题，导致模型训练中止。

batch_descriptor: {count: 0 feature_map_count: 64 spatial: 7 7 4 value_min: 0.000000 value_max: 0.000000 layout: BatchDepthYX}

原因

上述问题是由于分布式训练过程中，存在一个batch，其样本数量小于GPU数量，导致程序异常终止。

eg：样本数量共177个，batch size为16，GPU数量为2，此时最后一个batch只含一个样本，不足以分在两个GPU上进行训练，故报错中止训练。

解决办法

以Keras为例，构建dataset实例，通过batch()方法分batch：

train_dataset = train_dataset.cache(
最低0.47元/天 解锁文章
scripts/spider_qlora_finetune.sh: line 7: --source_max_len: command not found解决方案
weixin_43178406的博客
07-21 5万+
本文主要介绍了TypeError: transformers.tokenization_utils_base.PreTrainedTokenizerBase._from_pretrained() got multiple values for keyword argument ‘use_auth_token’ scripts/spider_qlora_finetune.sh: line 7: --source_max_len: command not found解决方案，希望能对学习DB-GPT-Hub项目
TypeError:__init__() got an unexpected keyword argunent ‘executable_path‘解决方案
热门推荐
weixin_43178406的博客
06-30 8万+
本文主要介绍了TypeError:__init__() got an unexpected keyword argunent 'executable_path’解决方案，希望能对学习selenium的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 方案一 2.2 方案二
[Pytorch]最后一个batch数据量小于batch_size的问题及解决方案
weixin_66896881的博客
01-13 4275
最后一个batch数据量小于batch_size的问题及解决方案
"Action Recognition with Trajectory-Pooled Deep-Convolutional Descriptors"阅读小结
Mr_pan
05-28 3162
1、摘要： 本论文提出一种新的视频表示方法，称作轨迹池化-深度卷积描述符（TDD），共享手工制作的特征和深度学习特征。优点是：(1) TDDs是自动学习，并且与这些手工制作的特征相比具有高区分度的性能；(2) TDDs考虑时间维度的本质特征，介绍轨迹受限的采样和池化的策略加强深度学习特征。 2、介绍： Figure 1主要有两种类型的特征：手工制作的特征和深度学习特征。对于手工制
图像兴趣点检测与描述 的深度学习方法总结
m0_47931820的博客
03-20 6293
图像的兴趣点（关键点、特征点）检测和描述往往是图像配准、相机标定、场景识别、目标跟踪的首要步骤，是计算机视觉研究的重要课题。检测子的目的是为了提取可匹配的兴趣点，而描述子可用于匹配或识别，为下游任务作准备。网上很多文章[1,2]都只介绍了传统的SIFT、SURF、ORB等方法，关于深度学习的方法缺少一篇系统的总结性文章，本文将填一下这个坑。 本文重点介绍LIFT[3]、DeLF[4]、SuperPoint[5]、D2Net[6]几篇文章的思想方法和优缺点分析，然后总结其发展趋势和未来展望。 代表性工作 1.
RuntimeError: CuDNN error: CUDNN_STATUS_SUCCESS
qq_37665306的博客
08-07 2014
我的PyTorch version 0.4.1, cudatoolkit 9.0 cudnn 7.6.5 在程序中插入下面这句话，很好地解决了！至于更深入的原因目前不是很清楚，其中解决方案来源于 RuntimeError: CuDNN error: CUDNN_STATUS_SUCCESS torch.backends.cudnn.benchmark = True ...
【解决】Check failed: status == CUDNN_STATUS_SUCCESS (8 vs. 0) CUDNN_STATUS_EXECUTIO
Rock的博客
07-16 8560
配置：2080TI，cuda9.1， cundnn7.5.0 ，Nvidia驱动430，Ubuntu16.04+内核4.10.0 执行caffe出现问题： Check failed: status == CUDNN_STATUS_SUCCESS (8 vs. 0) CUDNN_STATUS_EXECUTIO 编译darknet 取消cudnn可以通过，但是测试demo 时，没有结果，这就奇怪了 好...
keras val_categorical_accuracy: 0.0000e+00问题
月想容的博客
06-19 1万+
问题描述： 在利用神经网络进行分类和识别的时候，使用了keras这个封装层次比较高的框架，backend使用的是tensorflow-cpu。 在交叉验证的时候，出现val_categorical_accuracy: 0.0000e+00的问题。 问题分析： 首先，弄清楚，训练集、验证集、测试集的区别，验证集是从训练集中提前拿出一部分的数据集。在keras中，一般...
训练DiT报错ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: -9) local_rank: 0
最新发布
计算机视觉
11-27 1万+
运行Dit时，torchrun --nnodes=1 --nproc_per_node=8 train.py --model DiT-XL/2 --data-path /home/pansiyuan/jupyter/qianyu/data。此时是多卡计算看不到报错信息。
could not convert batchDescriptor{count:0 feature_map_count:2048 spatial: 7 7 value_max:0.000000 lay
W.S.Yin的博客
07-22 827
could not convert batchDescriptor{count:0 feature_map_count:2048 spatial: 7 7 value_max:0.000000 layout: BatchDepthYX} to cudnn tensor descriptor: CUDNN_STATUS_BAD_PARAM原因解决办法 原因 这种问题比较会出现在Kreas、tenso...
Descriptor Learning for Efficient Retrieval
05-11
Many visual search and matching systems represent images using sparse sets of “visual words”: descriptors that have been quantized by assignment to the best-matching symbol in a discrete vocabulary. Errors in this quantization procedure propagate throughout the rest of the system, either harming performance or requiring correction using additional storage or processing. This paper aims to reduce these quantization errors at source, by learning a projection from descriptor space to a new Euclidean space in which standard clustering techniques are more likely to assign matching descriptors to the same cluster, and non-matching descriptors to different clusters. To achieve this, we learn a non-linear transformation model by minimizing a novel margin-based cost function, which aims to separate matching descriptors from two classes of non-matching descriptors. Training data is generated automatically by leveraging geometric consistency. Scalable, stochastic gradient methods are used for the optimization. For the case of particular object retrieval, we demonstrate impressive gains in performance on a ground truth dataset: our learnt 32-D descriptor without spatial re-ranking outperforms a baseline method using 128-D SIFT descriptors with spatial re-ranking.
深度学习之特征提取算法
m0_60448868的博客
06-28 1万+
深度学习之特征提取算法
深度学习框架学习遇到问题汇总
owenfy的博客
03-20 592
tensorflow / keras １、 tensorflow/stream_executor/cuda/cuda_dnn.cc:521] could not convert BatchDescriptor {count: 1 feature_map_count: 128 spatial: 4 0 value_min: 0.000000 value_max: 0.000000 layout...
Keras 多GPU模式在计算val的准确率时报错
马德里小铁匠的铁匠铺
05-21 3686
错误信息： Error: tensorflow/stream_executor/cuda/cuda_dnn.cc:444] could not convert BatchDescriptor {count: 0 feature_map_count: 32 spatial: 149 149 value_min: 0.000000 value_max: 0.000000 layout: Batc...
Learning of descriptor detection
weixin_43900210的博客
10-19 1365
特征点评估指标 精度 在角点明显的简单图形上，测试检出率，计算RMSE（均方根误差）在xy两方向上值 速度 在同样实验平台，参数阈值都手动调至最佳状态来测试 适应性（主要考察重复率） 适应性主要是针对旋转、尺度变化、视角变化（最难）、亮度、对比度、噪声等 对两张图片进行提取，以较少特征点的图片为基准，计算在另一张图片上的重复率 重复率=两张图重复点数/基准图片特征点数 均匀程度 一般的从兴趣算子提取特征点往往都集中在纹理密集的区域 基于局部信息熵的网格选择法会优化空间分布 描述子评估 在不同观察条件下对同一
解决Check failed: cudnnSetTensorNdDescriptor(handle_.get(), elem_type, nd, dims.data(), strides.data()
沉迷单车的追风少年
12-15 2361
项目场景： tensorflow 加载预训练模型 InceptionV3， 计算FID 问题描述： 2021-12-13 07:44:25.012505: F tensorflow/stream_executor/cuda/cuda_dnn.cc:533] Check failed: cudnnSetTensorNdDescriptor(handle_.get(), elem_type, nd, dims.data(), strides.data()) == CUDNN_STATUS_SUCCESS
Fully Convolutional Networks for semantic Segmentation（深度学习经典论文翻译）
weixin_30328063的博客
01-04 1967
摘要 卷积网络在特征分层领域是非常强大的视觉模型。我们证明了经过端到端、像素到像素训练的卷积网络超过语义分割中最先进的技术。我们的核心观点是建立“全卷积”网络，输入任意尺寸，经过有效的推理和学习产生相应尺寸的输出。我们定义并指定全卷积网络的空间，解释它们在空间范围内dense prediction任务(预测每个像素所属的类别)和获取与先验模型联系的应用。我们改编当前的分类网络(AlexNet...
python代码遇到的问题汇总2
csdn_1_10086的博客
07-13 1600
跑python代码遇到的问题汇总2
if count_learn%10==0: self.batch_size+=
11-20
如果"count_learn"等于0，则"self.batch_size"等于什么呢？ 当"count_learn"等于0时，意味着没有学习数据可用。因此，将"self.batch_size"设置为0可能是一种合理的选择。这意味着在没有学习数据可用时，不需要进行任何学习批次的计算和处理。 另一种可能的选择是将"self.batch_size"设置为一个默认值。这个默认值可以是根据先前的经验或问题的特定需求设定的。 还有一种选择是将"self.batch_size"设置为一个负数，表示没有限制。这样可以避免限制学习批次的数量，允许使用所有可用的学习数据进行训练。 最后的选择取决于具体的应用场景和需求。这个条件语句只是提供了一个起点，根据具体情况，可以将"self.batch_size"设置为合适的值。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值