DenseNet占用内存过高(batch-size只能设置为1)解决方案

最新推荐文章于 2025-05-07 20:00:32 发布
原创 最新推荐文章于 2025-05-07 20:00:32 发布 · 4.8k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#DenseNet占用内存过高 #memory-efficient caffe #Ubuntu系统 #batch-size只能设置为1

博主在使用DenseNet时遇到内存问题，仅能设置batch-size为1。通过编译memory-efficient Caffe在Ubuntu系统上解决了这一问题。编译过程包括下载源码、删除特定文件、执行cmake和make命令。随后，博主将数据集导入到DenseNet训练脚本中，调整solver和prototxt文件，并创建train.sh启动训练，此时batch-size可设置为8和2。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

情况说明

前一阵自己使用caffe跑了跑DenseNet网络，显卡11G显存，只有当TRAIN和TEST的batch-size设置成1才可以跑通，这样的话是在线学习，最终的结果并没有想象中的那么好。然后查了一些资料，并不断进行尝试，最终得到了解决方案-------->使用memory-efficient的caffe(Ubuntu系统)跑DenseNet。

说明：博主用的是八开服务器，用的WinSCP可以像windows一样看到硬盘中的文件，如果只用ubuntu系统的话可以用 ls 指令查看文件。

具体实施

一、编译memory-efficient的caffe

源码：memory-efficient的caffe

大部分参考 使用内存精简版caffe运行densenet 并进行修改以及详细说明。
1 运行 git clone --recursive https://github.com/Tongcheng/caffe.git命令。
在自己的环境下运行上边的指令，会提示如下的信息。
在这里插入图片描述
2 运行cd /h

最低0.47元/天 解锁文章
计算机视觉卷积神经网络CNN架构设计指南：如何构建高效的视觉模型？
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
04-20 11万+
计算机视觉CNN架构设计指南：如何构建高效的视觉模型？人工智能、大模型、AI、计算机视觉领域，卷积神经网络（Convolutional Neural Network，CNN）已成为主导性的模型架构。从图像分类到目标检测，从语义分割到图像生成，CNN 展现出了强大的性能。构建一个高效的 CNN 视觉模型，不仅需要对其基本原理有深入理解，还需要掌握一系列架构设计技巧。本文将详细探讨如何构建高效的 CNN 视觉模型，涵盖从基础概念到复杂架构设计的各个方面，并通过丰富的代码示例帮助读者更好地理解和实践。
大模型的实践应用17-利用QLoRA技术来微调ChatGLM2时所遇到的一些问题与解决方案。
微学AI的博客
02-27 441
我们采用QLoRA技术微调模型QLoRA(Quantized LoRA) 是 LoRA（Low-Rank Adaptation）的一种变体，旨在通过量化的方式减少模型大小和提高计算效率，同时保持或提升微调的性能。QLoRA 主要改进了 LoRA 在处理大型模型时的效率问题，尤其是在硬件资源有限的情况下。LoRA 本身是一种参数高效的微调方法，它通过引入低秩矩阵来捕捉基础模型参数的微小变化，从而只需要微调这些低秩矩阵，而不是整个模型的参数。
efficiency_densenet_pytorch：DenseNets的内存高效实现
02-05
efficiency_densenet_pytorch DenseNets的PyTorch> = 1.0实现，已优化以节省GPU内存。 最近更新 现在可以在PyTorch 1.0上使用！ 它使用检查点功能，使此代码更有效！！！ 动机 虽然DenseNets在深度学习框架中很容易实现，但大多数实现（例如）往往需要大量内存。 特别是，通过批处理规范化和串联操作生成的中间特征图的数量随着网络深度的增加而平方增长。 值得强调的是，这不是DenseNets固有的属性，而是实现的属性。 此实现使用一种新的策略来减少DenseNets的内存消耗。 我们使用来计算Batch Norm和串联特征图。 这些中
GPU小，batchsize=1，训练无效果，该怎么解决？
chenyuan1111的博客
09-15 882
训练模型，需要提供给模型有一定对比性的图片，比如图片包含两个不同的目标；另一方面，增加batchsize也可以增加对比性，因为batchsize=1，所有图片仅仅包含一个目标时就很难训练好的模型。2） 如果标注的图片内部由多个目标，最好包含所有你想识别的目标，那么batchsize=1时，也可以得到理想的模型。1） 如果标注的图片内只有一个目标，那么训练batchsize=1，大概率得不到你想要的模型。onnx + openvino框架 + opencv。onnx runtime推理框架；
github入门教程（非常详细）从零基础入门到精通，看完这一篇就够了
A1_3_9_7的博客
05-07 1万+
如果你是一枚Coder，但是你不知道Github，那么我觉的你就不是一个菜鸟级别的Coder，因为你压根不是真正Coder，你只是一个Code搬运工。说明你根本不善于突破自己！为什么这么说原因很简单，很多优秀的代码以及各种框架源码都存放于github当中！
目标检测训练pascal，batch为1却会OOM！
qq_32689925的博客
03-18 693
直接上图，pascal数据中存在这么一张图片，尺寸为500X71，pascal图片预处理时会用到short_size_resize,如下： def short_side_resize(img_tensor, gtboxes_and_label, target_shortside_len): ‘’’ :param img_tensor:[h, w, c], gtboxes_and_label:[-1...
使用模型时，batchsize为1，模型报错
explorer5568的博客
03-14 2667
使用模型时需要batchsize为1，怎么样才能不报错
训练过程--Batchsize（总之一般情况下batchsize能设多大就设多大）
热门推荐
wydbyxr的博客
12-06 11万+
尽可能地设大batchsize "Large Batch Large Batch在 keypoints上也是有用的，大概能提到0.4到0.3的点的AP。" 在利用 ImageNet 训练 AlexNet 模型时，其中每 GPU 的最优批量大小为 512。如果我们希望使用大量 GPU 并保证每 GPU 皆拥有理想的执行效率，则应当将批量大小设定为 16 x 512 = 8192。 "Tra...
【EfficientNet量化实践】：降低模型推理计算需求的专业解决方案
[【EfficientNet量化实践】：降低模型推理计算需求的专业解决方案](https://img-blog.csdnimg.cn/direct/020ca0b9eccc4a2caeed161893370687.png) # 摘要 EfficientNet模型的量化是深度学习领域中减少计算资源需求的...
import numpy as np from PIL import Image import tensorflow as tf from keras.layers import Input, Lambda from keras.models import Model from keras.callbacks import EarlyStopping, ModelCheckpoint, LearningRateScheduler import densenet import importlib import os # 确保使用正确的Keras后端 from tensorflow.keras import backend as K def ctc_lambda_func(args): y_pred, labels, input_length, label_length = args return K.ctc_batch_cost(labels, y_pred, input_length, label_length) def get_model(img_h, nclass): input = Input(shape=(img_h, None, 1), name='the_input') y_pred = densenet.dense_cnn(input, nclass) labels = Input(name='the_labels', shape=[None], dtype='float32') input_length = Input(name='input_length', shape=[1], dtype='int64') label_length = Input(name='label_length', shape=[1], dtype='int64') # 使用Lambda层计算CTC损失 loss_out = Lambda(ctc_lambda_func, output_shape=(1,), name='ctc_loss')([y_pred, labels, input_length, label_length]) # 创建模型 model = Model(inputs=[input, labels, input_length, label_length], outputs=loss_out) # 编译模型时，损失函数直接返回预测值，因为损失已经由Lambda计算 model.compile(optimizer='adam', loss={'ctc_loss': lambda y_true, y_pred: tf.reduce_mean(y_pred)}) return model class random_uniform_num(): def __init__(self, total): self.total = total self.range = [i for i in range(total)] np.random.shuffle(self.range) self.index = 0 def get(self, batchsize): r_n = [] if self.index + batchsize > self.total: r_n_1 = self.range[self.index:self.total] np.random.shuffle(self.range) self.index = (self.index + batchsize) - self.total r_n_2 = self.range[:self.index] r_n.extend(r_n_1) r_n.extend(r_n_2) else: r_n = self.range[self.index:self.index + batchsize] self.index = self.index + batchsize return r_n def path_check(image_path): if not os.path.exist
03-25
综合这些点，我应该分步骤给出解决方案，包括验证路径、处理格式、检查权限、处理特殊字符、使用绝对路径、异常处理以及推荐pathlib。同时，生成相关问题帮助用户深入理解。</think>### 解决`os.path.exists`报错的...
关于训练时，最后一轮batch_size=1的报错
Sunflower的博客
10-01 3147
当Batch Normalization设为训练模式时（通过训练样本学习均值和方差），拒绝任何batch-size为1的情况。至于原因，简单地说就是BN归一化是依靠当前mini-batch的均值和方差进行归一化的，如果batch-size太小，显然所谓的均值和方差并不能代表不同sample之间的差距，各个mini-batch归一化结果的差异会非常大，归一化就没有意义了。另外，当batch-size设为1时，BN的结果近似于IN。，还有一种情况就是，在最后一轮的时候。基本上现在不会直接设置。
Memory-efficient Implementation of DenseNets
liguandong
03-15 819
Memory-efficient Implementation of DenseNets 改进densenet模型占用显存较大的问题。 对于特征的极致利用可以提高模型的表现能力，用时由于生成大量的intermediate feature(中间特征)，因此存储这些intermediate feature会占用大量的显存。为了能够在GPU下跑更深的densenet网络，这篇文章通过对中间特征采用共...
关于使用模型预训练过程中面对内存溢出问题的解决方案
吉米_王
12-23 2844
前言： 据我了解很多较为成熟的模型，比如说：bert等，他们的实验过程都是在云TPU上进行了微调，且相关TPU的容量均为64GB； 我们目前一般企业中的服务器均为GPU，且内存层面16G、32G不等。 也就是说我们此时的硬件条件如果强行使用官方给出来的指导参数，很可能会出现内存溢出现象，这个问题笔者最近接受了领导安排的一些新模型的调研任务中感受颇深，接下来简单聊聊。 调研过程中遇到的问题 内存溢出 问题解决思路 1、鉴于内存使用量与批量大小有直接关系，所以我优先想到的就是调整batch_size大
batchsize对模型的影响
weixin_43972097的博客
08-22 2736
实际问题 不小心把batch_size设置为1之后，发现模型在第一个epoch的时候就不收敛了，在一个不太理想的准确率（0.7）左右晃荡。 然后更改为16之后，训练速度大大提升，准确率也开始收敛。 查阅资料 按理来说，batch_size为1是最好的，一次只处理一个样本，让模型可以学到的东西更加丰富。不过实际上调的时候，会出现batch_size太小导致网络收敛不稳定，最后结果比较差。 这是因为线性神经元在均方误差代价函数的错误面是一个抛物面，横截面是椭圆。对于多层神经元，非线性网络，在局部依然近似是抛物面
tensorflow 任意 batch size 不溢出显存( OOM )，使用 darknet 的 sub batch 方法
ONE_SIX_MIX的专栏
08-26 7487
这方法很久之前就想弄了，网上( 百度 )除了 darknet 之外，没人弄这东西，无奈那时对 tf 的 Optimizer 和 梯度计算 理解很浅，没法弄，不久前看了个 tensorflow 的 eager run 的例子才弄懂 tf 的梯度计算方式。 原理很简单，例如一个 batch 的 size = 100，直接放进显卡会溢出，那我把这个 batch 再分成 10 个 sub batch，每...
关于Densenet的改进方法
Loong Cheng的博客
03-17 6104
改进 Densenet是一个非常棒的网络结构，但是特别耗费显卡。 然后作者给出了解决方法 黄高博士及刘壮取得联系两位作者对 DenseNet 的详细介绍及常见疑问解答 DenseNet 特别耗费显存？ 不少人跟我们反映过 DenseNet 在训练时对内存消耗非常厉害。这个问题其实是算法实现不优带来的。当前的深度学习框架对 DenseNet 的密集连接没有很好的支持，我们只能借助于...
计算神经网络内存占用
u011311291的博客
10-08 9697
如果layer.count_params()或者model.summary()权重参数个数为负数的可以参考: 彻底解决keras model.summary()或者layer.count_params()权重参数个数为负数问题 举两个例子，一张(1024,1024,3)的图片，分别使用VGGNet,DenseNet网络。 一.VGGNet内存消耗计算 ''' Created on 2018年9月3...
验证模型要将Batch Size设置为1的原因
Kelly_Ai_Bai的博客
12-13 1887
验证模型需要将Batch Size设置为1的原因
图片推理时爆显存
weixin_41423872的博客
10-07 961
语义分割任务，在别人的代码上用uavid数据集做实验 训练的时候没有问题，但是在测试推理的时候batch_size为1居然会爆显存，只能推理一张图片，第二张就出错，排除了是第二张图片有问题的情况。试着在cpu上跑，可以运行。试着换成了cityscapes数据集，跑起来也没有问题，而且能跑很多张。 查看训练代码，发现在训练的时候图像进行了缩放，变成了480*480的大小，所以确定是图片大小的问题。 通过： # 双线性插值 img = img.resize((1920, 1080
batch-size在哪里设置
最新发布
05-09
### 如何在机器学习框架中设置 `batch_size` 参数 #### TensorFlow 中的 `batch_size` 设置 在 TensorFlow 的 Keras API 中，可以通过 `model.fit()` 方法中的参数来指定批量大小 (`batch_size`)。此参数控制每次迭代期间传递给模型的数据样本数量[^1]。 ```python import tensorflow as tf # 定义简单的神经网络模型 model = tf.keras.Sequential([ tf.keras.layers.Dense(64, activation='relu', input_shape=(input_dim,)), tf.keras.layers.Dense(10, activation='softmax') ]) # 编译模型 model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) # 训练模型时设置 batch_size 和 epochs history = model.fit(x_train, y_train, batch_size=32, # 这里设置了批处理大小为 32 epochs=10, validation_data=(x_val, y_val)) ``` #### PyTorch 中的 `batch_size` 设置 在 PyTorch 中，通常通过 `DataLoader` 类来定义数据加载器，并在此类初始化过程中设定 `batch_size` 参数。该参数决定了每个批次包含多少个样本[^2]。 ```python from torch.utils.data import DataLoader, TensorDataset import torch # 创建 Dataset 对象 dataset = TensorDataset(torch.tensor(X), torch.tensor(y)) # 使用 DataLoader 加载数据集并设置 batch_size dataloader = DataLoader(dataset, batch_size=64, shuffle=True) # 遍历 dataloader 并训练模型 for data in dataloader: inputs, labels = data outputs = model(inputs) loss = criterion(outputs, labels) optimizer.zero_grad() loss.backward() optimizer.step() ``` #### Scikit-learn 中的相关概念 虽然 Scikit-learn 不像深度学习框架那样显式提供 `batch_size` 参数，但在某些基于梯度下降优化的估计器（如 SGDClassifier 或 MLPClassifier）中，间接涉及类似的机制。这些估计器允许调整每步使用的子样本来模拟 mini-batch 行为[^1]。 ```python from sklearn.neural_network import MLPClassifier # 初始化多层感知机分类器 clf = MLPClassifier(hidden_layer_sizes=(100,), max_iter=500, alpha=1e-4, solver='sgd', verbose=10, tol=1e-4, random_state=1, learning_rate_init=.1, batch_size=64) # 显式设置 batch_size # 拟合模型 clf.fit(X_train, y_train) ``` 以上代码片段展示了不同框架下如何配置 `batch_size` 参数的方法。值得注意的是，在实际应用中应考虑实验结果表明的最佳实践：过小可能导致不稳定收敛；过大则可能降低泛化能力以及增加内存消耗[^3]。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值