- 博客(13)
- 收藏
- 关注
RSS订阅原创 使用预训练模型时，是否要冻结部分层
1.在两个数据集相似度较高的情况下，使用预训练模型可以不冻结，如果目标数据集与预训练数据集相似，那么卷积层所学习的低级特征通常是共享的，不会因为任务差异而需要大幅度改变。因此，微调（即对所有层进行训练）不会引起特征表示的显著改变，反而可以帮助模型更好地学习任务相关的细节，不冻结任何层可以让模型有更大的灵活性来调整每一层的权重，最终能更好地适应目标任务。2.冻结的话，一般冻结前面几层，微调后面几层。经过实验证明，确实不冻结的精度更高一些。
2025-02-24 23:11:13
188
原创 解决模型训练过程中loss出现Nan值的情况
训练过程中的 MulBackward0 出现了问题，这表明在计算 梯度时，出现了数值不稳定，具体是在执行 torch.exp(logits) 时。这种问题通常出现在计算中涉及指数运算（exp）时，如果输入的数值非常大，就可能导致溢出或产生 NaN。可以定位到Ls = criterion_simclr(features_prob)，即features_prob的值很大，也就是我让模型返回的feature很大，所以我在模型输出之前加入了特征正则化，问题解决。放在训练最开始的部分，例如训练循环的外部即可。
2025-02-24 22:57:00
311
1
原创 __init__() takes from 1 to 2 positional arguments but 3 were given
通常在使用 PyTorch 中的自定义模型或损失函数时，你需要先实例化类，然后才能调用其中的方法，比如 forward 方法。
2024-01-05 17:00:04
868
1
原创 data = self._next_data() raise StopIteration
数据加载的时候报错，发现是因为batch_size的大小大于我的样本数量了，将batch_size改小即可。
2023-12-26 16:45:23
660
1
原创 ValueError: num_samples should be a positive integer value, but got num_samples=0
2.找到数据加载的地方，打印出路径和__len__ 方法： 返回数据集中图像的总数，检查是否为空。3.以下是我的代码，使用到了make_dataset函数，那就是这里加载有问题，我遇到的问题就是路径是对的，文件夹中也有图片，但是没有被正确加载。1.检查你的数据集是否为空，否则进行下一步；最后发现是因为，文件后缀名和定义不对导致的。在数据加载的时候有可能会报这个错误。
2023-12-20 17:20:15
1100
1
原创 Paddle 实现Cutout数据增强操作
Cutout 可以理解为 Dropout 的一种扩展操作，不同的是 Dropout 是对图像经过网络后生成的特征进行遮挡，而 Cutout 是直接对输入的图像进行遮挡，它在图像上生成一个大小为 cutout_size 的矩形区域，并将该区域内的像素值置零，相对于Dropout对噪声的鲁棒性更好。在实际使用中，可以根据需求调整 cutout_size 的大小。
2023-12-01 16:27:57
209
1
原创 nll_loss_forward_reduce_cuda_kernel_2d: Assertion `t ＞= 0 && t ＜ n__classes` failed.
然后在函数里输出inputs和targets的形状，发现维度也没有问题，然后输出标签的值看一下。然后发现target的值==num_class,发现num_class的值写错了。还有一种可能就是你的target的值不是从0开始的，是从1开始的也会报错。
2023-12-01 10:49:33
3429
8
原创 RuntimeError: Trying to resize storage that is not resizable
这个错误表明在堆叠（stacking）张量时，张量的大小不匹配。在上面的情况中，两个张量的高度维度不同，分别是 410 和 295。因此在数据预处理时，整图像的大小，使它们具有相同的高度。例如可以使用Resize。我发生错误是因为在train时Resize,而在验证集预处理时没有resize报错。
2023-11-30 23:11:39
908
原创 n __getattr__ raise AttributeError(name) AttributeError: __array_interface__
把这一行删掉就好了，也不知道为什么会报错。在网上查了一下午也没有解决，后来。
2023-11-30 17:30:26
411
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人