到底什么是L2 Norm

本文深入探讨了L2归一化的概念及其在深度学习中的应用。通过具体实例,详细解释了如何使用PyTorch的F.normalize函数进行L2归一化,并展示了归一化过程的数学计算细节。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

最近复现论文有这么一个结构:
在这里插入图片描述
池化之后有一个l2-normnormnormalization的缩写。Ok,看看这是啥:
在这里插入图片描述
标准化?正规化?归一化?…

正确答案

L2归一化:将一组数变成0-1之间。pytorch调用的函数是F.normalize。文档是这样写的:
在这里插入图片描述
对于L2来说,p=2,分母就是(x12+x22+...+xn2)\sqrt{( x_1^2 + x_2^2 + ... +x_n^2)}(x12+x22+...+xn2),分子是xix_ixi。所以如果有一个tensor长这样:
在这里插入图片描述
20.220.22+30.32=0.5547001962252291\frac{20.2}{\sqrt{20.2^2+30.3^2}}=0.554700196225229120.22+30.3220.2=0.5547001962252291
30.320.22+30.32=0.8320502943378437\frac{30.3}{\sqrt{20.2^2+30.3^2}}=0.832050294337843720.22+30.3230.3=0.8320502943378437
40.440.42+50.52=0.6246950475544243\frac{40.4}{\sqrt{40.4^2+50.5^2}}=0.624695047554424340.42+50.5240.4=0.6246950475544243
50.540.42+50.52=0.7808688094430304\frac{50.5}{\sqrt{40.4^2+50.5^2}}=0.780868809443030440.42+50.5250.5=0.7808688094430304
现在我们来验证一下:
在这里插入图片描述
嘻嘻,666!

评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

牛哥123

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值