AI深度学习

audiocool

已于 2022-04-25 10:57:52 修改

阅读量2.6k

点赞数

文章标签： python

于 2022-04-24 21:34:58 首次发布

本文链接：https://blog.youkuaiyun.com/audio_algorithm/article/details/124392525

版权

本文介绍了深度学习中的各种损失函数，包括绝对值损失、平方损失、指数损失和交叉熵损失，及其在回归和分类任务中的应用。接着讨论了正则化方法，如L1和L2正则化，以及它们的作用。还探讨了1x1卷积、过拟合的原因和解决方案，如批量归一化（BN）、Dropout以及如何在测试阶段处理它们。此外，文章还涵盖了梯度消失问题、Softmax函数以及LSTM和GRU如何解决RNN的梯度消失问题。最后，提到了模型训练的挑战和解决方法，包括使用ReLU激活函数、残差网络等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

损失函数：
１、绝对值损失函数
２、平方损失函数　（回归任务）
３、指数损失函数
４、交叉熵损失函数　　（分类任务）

正则化：
L1正则化是指权值向量中各个元素的绝对值之和，可以实现让参数矩阵稀疏，让参数稀疏的好处，可以实现对特征的选择
L2正则化是指权值向量中各个元素的平方和然后再求平方根，解决过拟合问题。
　
１＊１卷积：　实现跨通道交互、升降维、增加非线性

过拟合：　泛化能力差，原因：
   网络太复杂，数据量不够；　－－－调小模型，增加数据集
   训练集与测试集特征分布不一致；－－正则化，dropout
   样本中噪声数据干扰太大，
   迭代次数太多了　－－－－－提前停止

ＢＮ以及BN在测试阶段如何处理　？
　对每一个ｂａｔｃｈ的数据根据求得的均值和方差进行归一化处理，主要作用是加速训练收敛，防止过拟合。
　测试阶段，可以根据训练数据机每一个ｂａｔｃｈ的均值和方差做平滑处理或者求均值，得到全局的均值和方差

最低0.47元/天解锁文章