为什么深度网络（vgg，resnet）最后都不使用softmax（概率归一）函数，而是直接加fc层？

最新推荐文章于 2024-12-01 16:20:25 发布
最新推荐文章于 2024-12-01 16:20:25 发布
阅读量1.2k 收藏 3
点赞数
分类专栏： python 文章标签： pytorch 深度学习 resnet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43374694/article/details/132588508
版权
本文解释了深度学习框架如何处理softmax，指出新版本如Pytorch和PaddlePaddle默认包含softmax，而早期版本可能需要手动添加。强调查看API文档的重要性，以防误解softmax的作用对模型收敛的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这个问题很简单，并不是没有使用softmax，而是没有显式使用softmax。

随着深度学习框架的发展，为了更好的性能，部分框架选择了在使用交叉熵损失函数时默认加上softmax，这样无论你的输出层是什么，只要用了nn.CrossEntropyLoss就默认加上了softmax。不仅是Pytorch，国内的飞桨PaddlePaddle2.0等框架也是这样。但在更早的一些版本，默认是不隐式添加softmax的，所以会有一部分教程/资料，要求在撰写对应代码时手动添加softmax。当然，自己的框架是否需要手动在输出层添加softmax，推荐看对应的API文档。道听途说不一定可取，毕竟一个softmax可以做分类，俩softmax搞不好就不收敛了
在这里插入图片描述

Pytorch 中使用nn.CrossEntropyLoss的注意点（不需要额外的softmax）
weixin_44607838的博客
06-27 6519
起因 最近在使用pytorch训练模型时，出现了loss下降非常缓慢的问题，想了很久都没有发现问题出在哪里。
深度学习--CNN应用--VGG16网络和ResNet18网络
ssheudjbdndnjd的博客
04-18 2483
VGG论文大家有兴趣的可以去研读一下。首先呢，我们先简单了解一下VGG网络的来源自2012年AlexNet在lmageNet图片分类比赛中大获成功以来，关于深度神经网络的研究又一次如火如茶般进行;VGGNet 是由牛津大学视觉几何小组 (Visual Geometry Group,VGG)提出的一种深层卷积网络结构，他们以 7.32% 的错误率赢得了 2014年 ILSVRC 分类任务的亚军(冠军由 GoogLeNet 以 6.65% 的错误率夺得)
KL散度和交叉熵有什么关系？logits是什么？知识蒸馏损失函数如何选择？为什么深度网络（vgg，resnet）最后都不使用softmax函数，而是直接使用fc层的输出作为output？
ykn37的博客
03-27 2534
KL散度和交叉熵有什么关系？logits是什么？知识蒸馏损失函数如何选择？为什么深度网络（vgg，resnet）最后都不使用softmax函数，而是直接使用fc层的输出作为output？
Softmax函数，损失函数，交叉熵，softmax损失函数详解
jiao_mrswang的博客
07-30 3808
Softmax函数： softmax用于多分类过程中，二分类一般是S型函数，S型函数可以看做是softmax函数的特殊形式！ softmax的数学公式： 例子： 假设数组v=[3,1,-3],则数组v中每个元素经过softmax()的值如下： 以上是softmax()函数的详解！！！ 损失函数： 衡量期望值与实际值之间的误差的函数。深度学习的目的是最小化损失函数！因为期望值与...
SVM & FC+Softmax 分类
qq_42283621的博客
09-07 1132
支持向量机是一种二分类模型算法，它的基本模型是定义在特征空间的间隔最大的线性分类器，说白了就是在中间画一条线，然后以 “最好地” 区分这两类点。以至如果以后有了新的点，这条线也能做出很好的分类。W每列代表一个SVM分类器，n个类别共n个SVM分类器，每个SVM分类器输出该样本属于某一个类的概率（即每个SVM均做二分类）原则上每个样本属于每个类别的概率均属于[0, 1]且无和为1的限制。Y按行进行softmax，即每个样本属于各个类别的概率和为1。样本数量b，类别数量n，特征长度d。
Softmax分类器及交叉熵损失（通俗易懂）
Peyzhang的博客
06-23 7965
简单的说,softmax函数会将输出结果缩小到0到1的一个值，并且所有值相加为1，cross-entropy一般再softmax函数求得结果后再用，
【DAY20240927】经典深度学习模型对比：LeNet5、CNN、ResNet20、AlexNet、TextCNN 与 VGG-11
weixin_52881828的博客
09-27 1354
经典深度学习模型对比：LeNet5、CNN、ResNet20、AlexNet、TextCNN 与 VGG-11
CNN经典网络模型综述及发散思考(LeNet/ AlexNet/VGGNet/GoogLeNet/ResNet)
qq_43307074的博客
10-14 1949
CNN经典网络模型综述及发散思考(LeNet/ AlexNet/VGGNet/GoogLeNet/ResNet)，持续更新发散思考内容！！！
人工智能12-CNN之图像识别，VGG,Resnet50
Kang_Kang330的博客
07-14 325
图像识别技术的定义为利用计算机对图像进行处理、分析和理解，以识别不同模式的目标和对象的技术。
跟着问题学10——ResNet网络详解及代码实战
最新发布
weixin_42251091的博客
12-01 2895
如果F(x)对于提高模型的训练精度无作用，自然梯度下降算法就调整该部分的参数，使该部分的效果趋近于0，也就意味着主线路的F(x)变为0，这时网络的特征图流向就是只走“跳接”曲线（shortcut connection），此时H(x)=F(x)+x=0+x=x了，不必再去拟合H(x)=x，很明显，将网络的主干拟合函数F(x)优化为0比将最终输出拟合成恒等变换H(x)=x要容易得多。（3）每个残差模块（图中的conv2_x等）中的子结构是相同的，都是2个3*3的卷积层，通道数会有变化，在后面乘上重复的系数。
基于深度学习的人脸识别系统：卷积神经网络实现(VIPLFaceNet、VGGNet、Xception、ResNet50、ResNet18)、AM-Softmax损失
あずにゃん梓喵的博客
08-09 1747
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） train.py #!/usr/bin env python from keras.callbacks import EarlyStopping, ReduceLROnPlateau, CS...
pytorch/transformers 最后一层不加激活函数的原因
01-06 2114
bert最后一层为什么没有激活函数softmax或者sigmoid？
resnet(4)------全连接层与softmax
skyllerone的博客
12-10 6559
如果不用指数函数的话，其实仓鼠得分和白面包的得分是差不多的，但指数增长的特性就是，横轴变化很小的量，纵轴就会有很大的变化。所以，从1.9变化到2.1，经过指数的运算，两者的差距立马被的拉大了。这个算法又是如何将神经网络推理的数值，转换为一个类别的分类的呢？的关系，我们知道卷积是对图像的局部区域进行连接，通过卷积核完成的是感受野内的长宽方向以及channel 方向的数据连接。它的每次完成的是所有channel方向的连接，它看到的是。仓鼠的得分是2.1，白面包的得分是1.9，猫的得分是0.1。
计算机视觉 - 07 Softmax、微调、resnet、信息熵
seven_zhouyan的博客
02-29 734
1、Softmax（逻辑回归） 参考源： https://zhuanlan.zhihu.com/p/41784404 https://blog.youkuaiyun.com/bitcarmanlee/article/details/82320853 https://blog.youkuaiyun.com/weixin_36411839/article/details/81835552 vgg16: https://www...
现代卷积神经网络（ResNet）
qq_51957239的博客
03-08 3330
残差网络（Residual Network，简称 ResNet）是由微软研究院于 2015 年提出的一种深度卷积神经网络。它的主要特点是在网络中添加了“残差块”（Residual Block），有效地解决了深层网络的梯度消失和梯度爆炸问题，从而使得更深的网络结构可以训练得更好。
Pytorch入门（五）使用ResNet-18网络训练常规状态下的CIFAR10数据集
一个非常Cool的人
06-06 6571
本文介绍了如何使用Pytorch+ResNet-18+CIFAR-10进行深度学习训练，并使用训练好的权重进行预测，ResNet是一个非常优秀的神经网络，ResNet 在图像分类任务中表现出色。
深度学习-案例
m0_71624701的博客
10-30 56
tf.get_variable 函数和tf.Variable函数最大的区别在于前者的变量名称是一个必填的参数，而后者的变量名称则是一个可选的参数，通过name="v"的形式给出。【以上神经网络存在的不足之处：①训练的数据是由tensorflow封装的MNIST类进行处理，其过程过于简便，然而许多模型的训练中数据的处理并不会如此简便②训练完之后的模型没有保存起来，每次调用都得重新训练一遍③声明了太多的变量，变量过多，代码过于繁杂】值得注意的是，在命名空间内创建的变量的名称都会带上命名空间名作为前缀。
图像分割算法
热门推荐
m0_52190506的博客
03-23 1万+
我的毕业论文是做图像分割的，至于为啥要做这个，千万别问我，因为我自己都不知道，更别提做它的意义了，如果非要说，那就是单纯的为了毕业！ 面对毕业写文章就是为了记录一下整个过程中我遇到的疑问，以及经过各种资料查找得到的答案，如果大家也和我有同样的疑问，而我刚好也能帮到你，那可就真太让人开心了！（基础不是很好可能在理解别人的回答时产生了歧义，如有错误还请指正） 图像处理和计算机视觉之间的区别 我当时选题面临的第一个 图像处理技术重点在于处理，而计算机视觉重点在于对图像的理解 ...
直观理解神经网络最后一层全连接+Softmax
F~C~H的博客
04-02 3883
文章目录写在前面全连接层与Softmax回顾加权角度模板匹配几何角度Softmax的作用总结参考 写在前面 这篇文章将从3个角度：加权、模版匹配与几何来理解最后一层全连接+Softmax。掌握了这3种视角，可以更好地理解深度学习中的正则项、参数可视化以及一些损失函数背后的设计思想。 全连接层与Softmax回顾 深度神经网络的最后一层往往是全连接层+Softmax（分类网络），如下图所示，图片来自...
如何使用PyTorch深度学习框架从网络上下载并实现经典的猫狗图像分类任务？
11-15
在PyTorch中实现猫狗图像分类任务通常涉及以下几个步骤： 1. **数据预处理**： - 下载数据集，如ImageNet中的猫狗分类数据集，可以使用`torchvision.datasets`中的`CIFAR10`（小型）或`ImageFolder`（自定义目录下的图片）。 - 对图片进行预处理，包括缩放、裁剪、归一化等操作，可以使用`transforms`模块。 2. **构建模型**： - 使用预训练的卷积神经网络（如ResNet、VGG或DenseNet），PyTorch库如`torchvision.models`提供了一些预训练模型。 - 可能需要调整模型结构以适应新的任务，比如去掉最后一层，添加全连接层，并设置适当的激活函数（如softmax用于多分类）。 3. **加载预训练权重**： - 如果选择使用预训练模型，先将模型设为不可训练（`.eval()`），然后通过`.load_state_dict()`加载预训练的权值。 4. **定义损失函数和优化器**： - 使用交叉熵作为损失函数，`torch.nn.CrossEntropyLoss`。 - 选择一个优化器，如SGD、Adam，`torch.optim.SGD`或`torch.optim.Adam`. 5. **训练循环**： - 定义训练和验证函数，遍历数据集，前向传播、计算损失、反向传播并更新权重。 - 调整批量大小（batch size）、学习率以及其他超参数。 6. **评估和预测**： - 在测试集上运行模型，计算准确率或其他指标。 - 对新图片进行预测时，对输入图片应用同样的预处理步骤，然后通过模型进行类别预测。 以下是一个简单的示例代码片段： ```python import torch from torchvision import datasets, models, transforms # 数据预处理 transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) train_dataset = datasets.ImageFolder(root='path_to_train_data', transform=transform) test_dataset = datasets.ImageFolder(root='path_to_test_data', transform=transform) # 加载预训练模型并调整最后几层 model = models.resnet18(pretrained=True) num_classes = len(train_dataset.classes) # 获取数据集类别数 model.fc = nn.Linear(model.fc.in_features, num_classes) device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) # 训练、验证、优化和损失函数 criterion = nn.CrossEntropyLoss() optimizer = torch.optim.SGD(model.parameters(), lr=0.001, momentum=0.9) # 进行训练 for epoch in range(num_epochs): # ... ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值