8.31 关于深度学习中的 L1,L2 正则化

最新推荐文章于 2025-05-15 12:26:26 发布

棉毛裤穿吗

最新推荐文章于 2025-05-15 12:26:26 发布

阅读量197

点赞数

分类专栏： Deeplearning 文章标签：深度学习机器学习自然语言处理

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/qq_39782006/article/details/108330230

版权

Deeplearning 专栏收录该内容

6 篇文章

订阅专栏

纯粹为了复习一下白天看的那几分钟的视频= =

https://www.bilibili.com/video/BV17441117dm?p=3&t=517

up讲的很清楚很好也很详细非常适合没啥基础的脑袋瓜转的比较慢的选手比如我食用

【基础知识】

$L_{0}$ ， $L_{1}$ ， $L_{2}$ 范数：

举个栗子：向量 $A_{1}$ = [1,2,3,0,-5,9]

$L_{0}$ 范数就是向量中非0元素的个数，即 $\left \| A_{1} \right \|_{0} = 5$

$L_{1}$ 范数就是向量 $L_{1}$ 离0的曼哈顿距离来着，即 $\left \| A_{1} \right \|_{1} = 1 + 2 + 3 + 5 + 9 = 20$ 通俗点就是每个值的绝对值的和

$L_{2}$ 范数 = $\sqrt{\sum X_{i}^{2}}$ = $\sqrt{1^{2} + 2^{2} + 3^{2} + (-5)^{2} + 9^{2}}$

所以 $L_{p}$ 范数即 $\left \| A \right \|_{p}$ = $\sqrt[p]{\sum_{i = 1}^{n}X_{i}^{p}}$

【正则化的目的】

在训练神经网络的时候，会用到各种参数，如果参数过多的话，就很容易出现过拟合（就是非常适用于训练集，但是对测试集有较大的偏差，也就是高方差）的现象。所以为了控制模型的复杂度，就需要正则化，一般就是在损失函数中加入一些惩罚项。

即 $J\left ( w \right ;x,y) + \alpha \Omega \left ( \omega \right )$

其中 $\omega$ 是权重矩阵， $X$ 是样本， $Y$ 是标签， $\alpha$ 是控制正则化的强弱， $\Omega (\omega )$ 是加入的惩罚项。

常用的惩罚项一般有 $L_{1}$ 范数和 $L_{2}$ 范数，即分为 $L_{1}$ 正则化和 $L_{2}$ 正则化。

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。