- 博客(8)
- 收藏
- 关注
RSS订阅原创 L2正则及optimizer中weight_decay参数的使用
仅供个人学习，来源豆包ai一、L2 正则化概述1. 概念L2 正则化（也称为权重衰减，Weight Decay）是一种常用的正则化方法，其主要目的是防止模型过拟合。在深度学习中，模型往往有着大量的参数，当模型在训练数据上表现得很好，但在未见过的测试数据上性能不佳时（即过拟合现象），就需要通过正则化手段来约束模型的复杂度，使得模型能够更好地泛化到新的数据。L2 正则化通过在损失函数中添加一项与模型参数的平方和相关的惩罚项来实现对模型复杂度的控制。从直观上来说，它倾向于让模型的参数值尽可能地小，
2024-11-27 10:53:37
668
原创 卷积神经网络（CNN）、深度神经网络（DNN）和循环神经网络（RNN）
DNN：通用函数逼近器，全连接结构，参数数量大，计算量和内存占用高。CNN：专门用于处理网格状结构数据（如图像和视频），通过卷积和池化操作提取特征，广泛应用于图像分类、目标检测等领域。RNN：专门用于处理序列数据，通过循环结构捕捉时序信息和语义信息，广泛应用于自然语言处理、语音识别等领域。但RNN在处理长序列时容易出现梯度消失或梯度爆炸的问题，需要改进模型如LSTM或GRU来解决。
2024-11-14 15:41:18
906
原创 导数和偏导数的关系
导数（Derivative）是微积分中的一个核心概念，用于描述函数在某一点的变化率。具体来说，如果一个函数f(x)在x0处可导，那么它在x0处的导数f′(x0)就是函数在该点附近的平均变化率当自变量变化趋于零时的极限值。
2024-11-14 15:37:46
879
原创 导数和梯度的关系
导数导数描述了一个函数在某一点的变化率，即函数在该点附近的微小变化所引起的函数值的相对变化量。在一元函数中，导数表示函数图像在某一点的切线斜率。对于多元函数，可以求其在某一点沿某一方向的方向导数，表示函数在该点沿该方向的变化率。梯度梯度是一个矢量，它描述了多元函数在某一点处沿所有可能方向的方向导数中取值最大的那个方向及其大小。梯度的大小（模）等于该点处方向导数的最大值，方向则是函数值增加最快的方向。在几何上，梯度方向与该点处等值线的法线方向相同。
2024-11-07 16:17:31
482
2
原创 导数与微分的关系及区别
导数描述了一个函数在某一点的变化率。具体来说，如果有一个函数f(x)，它在x0处的导数f′(x0)（或记作df/dx|x=x0）表示函数在x0附近的小变化所引起的函数值的大致变化率。
2024-11-07 16:15:38
1295
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人