迁移学习中的BN问题

最新推荐文章于 2025-09-06 23:42:33 发布
转载 最新推荐文章于 2025-09-06 23:42:33 发布 · 585 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://zhuanlan.zhihu.com/p/56225304
文章标签：

#深度学习

博客提供了深度学习相关的参考内容，但未详细说明具体信息。
高效的ConvBN模块：迁移学习的新选择
步子哥的博客
08-26 1252
在深度学习和计算机视觉的快速发展中，特征归一化技术的不断演进为模型训练的稳定性和效率提供了重要支持。尤其是卷积-批量归一化（ConvBN）模块，作为众多计算机视觉任务中的核心组成部分，其在迁移学习中的应用愈发广泛。本文探讨了ConvBN模块在不同模式下的表现，提出了一种新的“调优模式”（Tune mode），旨在弥补现有Eval模式与Deploy模式之间的不足。
迁移学习-ResNet
weixin_73958875的博客
09-05 1325
ResNet迁移学习深度解析：原理与实践 本文系统介绍了ResNet架构的核心思想及其在迁移学习中的应用优势。ResNet通过残差块和跳跃连接解决了深度网络训练难题，结合迁移学习可显著减少数据需求和计算资源。文章详细阐述了三种迁移学习策略的选择指南，并提供了基于PyTorch的实践代码示例，包括模型加载、结构调整、参数冻结等关键步骤。特别以食物分类任务为例，展示了不同ResNet版本的性能对比。最后总结了学习率设置、过拟合处理等进阶技巧，展望了自动化迁移学习等未来发展方向。ResNet迁移学习已成为解决计算
收敛区间 收敛域_域迁移训练不收敛？关掉BN试试
weixin_39614094的博客
01-11 214
工作了之后发现迁移学习/领域自适应的落地场景是超出想象的多。最近一直在搞domain adaption相关的东西，工（mo）作（yu）之余分享一个很容易被忽略的小trick：如果来自source 和 target domain的数据分布很不一致，试试在target domain 数据 forward的时候，关掉BN的自动更新。# 关掉模型的BN（pytorch写法） for m in model....
no.6 ResNet网络结构 BN层以及迁移学习详解
weixin_44581312的博客
03-25 870
（Layer2的生成就有讲究了），由于第一层maxpooling帮第一层提前缩小了size，而layer2没有这么好的资源，他需要自己做这件事，首先在medel中就写了：self.layer2 = self._make_layer(block, 128, blocks_num[1], stride=2)，定义了stride=2，进入make layer函数之后，满足stride！获得coco数据集中目标检测，图像分割的第一名。但是残差网络很好的解决了这一问题，如下图，随着网络的加深，反而我们的错误率越低。
self-training | MICCAI2021 | BN层的source free的迁移
忽逢桃林的博客
01-28 4089
文章转自微信公众号：机器学习炼丹术 论文名称：Adapting Off-the-Shelf Source Segmenter for Target Medical Image Segmentation 作者：炼丹兄（欢迎交流共同进步） 联系方式：微信cyx645016617 论文链接：https://arxiv.org/abs/2109.09735 【前言】：Source-free的论文被拒之后，reviewer给出了很好的意见，并且给出了一些相关的论文。之前的文献整理阶段没有做完善，对比试验比较少，.
预训练模型进行迁移学习
ddana_a的博客
11-03 386
参考 参考 参考 参考 代码
ResNet网络结构，BN以及迁移学习详解
pyscl01的博客
10-30 6046
ResNet残差结构详解，以及Batch Normalization和迁移学习的详解
精选资源
基于变权重迁移学习的BN参数学习算法
04-30
针对小数据集条件下的贝叶斯网络（Bayesian network，BN）参数估计困难问题，提出了一种基于变权重迁移学习（DWTL）的BN参数学习算法。首先，利用MAP和MLE方法学习得到目标域初始参数和各源域参数；然后根据不同源域...
6.1 ResNet网络结构 BN及迁移学习
qq_52860171的博客
01-09 602
ResNet
深度学习：残差网络ResNet与迁移学习
最新发布
2201_75607087的博客
09-06 2090
读取图像（假设路径在csv第0列）img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 转为RGBimg = cv2.resize(img, (224, 224)) # 统一尺寸img = img.transpose((2, 0, 1)) # (H,W,C) → (C,H,W)，适应PyTorchlabel = (label + 1) / 2 # 假设原始标签为[-1,1]，归一化到[0,1]# 应用数据增强回归任务使用均方误差（MSE）损失# 前向传播。
[学习笔记] ResNet，BN，以及迁移学习（附带TensorBoard可视化）
Le0v1n 的博客
05-01 1777
1. ResNet理论和代码部分； 2. BN理论和代码验证部分； 3. 迁移学习理论加代码
ResNet网络结构，BN以及迁移学习
m0_62583559的博客
01-15 739
resnet
深度学习Keras对InceptionV3迁移学习精讲
10-15
本课程讲解内容是基于深度学习框架Keras，对InceptionV3模型进行迁移学习。涉及到迁移学习的必要性，迁移学习方法，迁移学习实战，最后用迁移学习结果去识别图片。
ResNet网络结构，BN以及迁移学习的详解
zyd_1129的博客
12-23 2341
参考大佬 ResNet详解 论文亮点： 超深的网络结构（突破1000层） 提出residual模型 使用BN加速训练，丢弃（Dropout） 残差结构解决的问题 梯度消失或梯度爆炸 网络退化的问题 残差结构 左边的图是针对于网络层数较少的残差结构，ResNet-34 右边的图是针对网络层数比较神的残差结构，ResNet-50/101/152 残差结构是通过主线的残差结构，加上短接线的输出结构，经过激活函数，这里值得注意的是主分支和shortcut的输出特征矩阵的shape必须是相同
PyTorch深度学习（22）网络结构ResNet、BN、迁移学习、ResNeXt
JYliangliang的博客
04-01 1887
一、简介 ResNet在2015年微软实验室提出，斩获当年ImageNet竞赛中分类任务第一名，目标检测第一名。获得COCO数据集中目标检测第一名，图像分割第一名。 Deep Residual Learning for Image Recognition 网络亮点： 超深的网络结构（突破1000层） 提出residual模块 使用Batch Normalization加速训练（丢弃dropout） 问题： 梯度消失或梯度爆炸 梯度消失： 梯度爆炸： 退化问题（degradation
ResNet网络结构、BN以及迁移学习介绍
断言的博客
01-20 5497
ResNet网络结构，BN以及迁移学习介绍
迁移学习和微调( 以Xception为基础模型在Kaggle Dogs vs. Cats 猫狗分类问题上为例）
Alocus的博客
12-15 1429
中文归纳总结 https://zhuanlan.zhihu.com/p/56225304 英文原文详解 http://blog.datumbox.com/the-batch-normalization-layer-of-keras-is-broken/#comment-22015
迁移学习之resnet50——解决过拟合及验证集上准确率上不去问题
热门推荐
aojue1109的博客
03-05 5万+
keras之resnet50迁移学习做分类 问题1描述：迁移学习用resnet50做分类，验证集上的准确率一直是一个大问题，有时候稳定在一个低的准确率上上不去，我的一次是一直在75%上下波动。 问题2描述：resnet50迁移学习，最终训练集上的准确率一直在攀升，但验证机上的准确率一直上不去，在一定程度上出现了过拟合现象，但加很多的BN、dropout、l1和l2正则化手段都不能有效的解决问题。 ...
【已解决】使用keras对resnet， inception3进行fine-tune出现训练集准确率很高但验证集很低的问题（BN）
wf592523813的博客
07-02 1万+
最近用keras跑基于resnet50，inception3的一些迁移学习的实验，遇到一些问题。通过查看github和博客发现是由于BN层导致的，国外已经有人总结并提了一个PR（虽然并没有被merge到Keras官方库中），并写了一篇博客，也看到知乎有人翻译了一遍：Keras的BN你真的冻结对了吗 当保存模型后再加载模型去预测时发现与直接预测结果不一致也可能是BN层的问题。 总结： keras...
ResNet50迁移学习中准确率低与过拟合问题解决方案
在迁移学习过程中，如果未正确设置`learning_phase`，会导致BN层在推理阶段仍然使用训练时的统计量，或者在训练时错误地固定了均值和方差，进而影响模型的表现。特别是在微调（fine-tuning）阶段，若不冻结BN层或未...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值