torch.nn.functional.normalize

最新推荐文章于 2024-12-23 12:02:54 发布
原创 最新推荐文章于 2024-12-23 12:02:54 发布 · 552 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了PyTorch中的规范化方法，包括torch.nn.functional.normalize的使用，通过具体示例展示了如何对张量进行1范数和2范数的计算，并解析了规范化过程中的数学原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

torch normalize

torch.nn.functional.normalize
范数
0范数，1范数，2范数
见范数blog：
https://blog.youkuaiyun.com/cursethegod/article/details/80372718

在这里插入图片描述
见示例：
input_ = torch.randn((3, 4))
a = torch.nn.Softmax()(input_)

b = torch.nn.functional.normalize(a)

a的结果为：
tensor([[0.2074, 0.2850, 0.1973, 0.3103],
[0.2773, 0.1442, 0.3652, 0.2132],
[0.3244, 0.3206, 0.0216, 0.3334]])

b的结果为：
tensor([[0.4071, 0.5595, 0.3874, 0.6092],
[0.5274, 0.2743, 0.6945, 0.4054],
[0.5738, 0.5671, 0.0381, 0.5896]])
b中的0.4071其实就是a中的 0.2074/根号下(0.20740.2074+0.2850.285+0.19730.1973+0.31030.3103) = 0.407：

原文链接

CV/NLP大虾
关注
torch.nn.functional.normalize的理解
养猪的纺织工
10-31 1228
原函数应该是这样： def normalize(input, p=2, dim=1, eps=1e-12, out=None): # type: (Tensor, float, int, float, Optional[Tensor]) -> Tensor r"""Performs :math:`L_p` normalization of inputs over specified dimension. For a tensor :attr:`input` of sizes :
【Pytorch】torch.nn.functional模块中的非线性激活函数
weixin_62403234的博客
11-18 563
公式：leaky_relu(x) = x if x > 0 else alpha * x。公式：近似为：gelu(x) ≈ x * sigmoid(1.702 * x)公式：normalize(x) = x / max(||x||, eps)特点：小于阈值的数被置为设定值，大于等于阈值的数保持不变。公式：silu(x) = x * sigmoid(x)特点：修改原张量而不是生成新的张量，节省内存。公式：relu(x) = max(0, x)输出范围：(0, 1)，且所有输出的和为1。
torch.nn.functional.normalize详解
Cretheego的博客
01-19 2090
torch.nn.functional.normalize详解
torch.nn.functional.normalize参数说明
qq_39407949的博客
05-20 2730
公式为vmax⁡∥v∥pϵmax(∥v∥p​ϵv​。
【Pytorch】torch.nn.functional.normalize
mjiansun的专栏
07-09 2万+
目录 本质 官方参考 实例 本质 torch.nn.functional.normalize(input,p=2,dim=1,eps=1e-12,out=None) 本质上就是按照某个维度计算范数，p表示计算p范数（等于2就是2范数），dim计算范数的维度（这里为1，一般就是通道数那个维度） 官方参考 官方api：https://pytorch.org/docs...
pytorch的torch.nn.functional.normalize主要作用，请python展示
04-13
import torch.nn.functional as F import torch # 创建一个2维张量 tensor = torch.Tensor([[1, 2], [3, 4]]) # 对张量进行标准化操作 normalized_tensor = F.normalize(tensor, p=2, dim=1) # 打印结果 print...
torch.nn、(二)
weixin_36670529的博客
08-30 3140
目录 Recurrent layers RNN LSTM GRU RNNCell LSTMCell GRUCell Transformer layers Transformer TransformerEncoder TransformerDecoder TransformerEncoderLayer TransformerDecoderLayer Linear laye...
@torch.compile() def quaternion_multiply(a, b): """ Multiply two sets of quaternions. Parameters: a (Tensor): A tensor containing N quaternions, shape = [N, 4] b (Tensor): A tensor containing N quaternions, shape = [N, 4] Returns: Tensor: A tensor containing the product of the input quaternions, shape = [N, 4] """ a_norm=torch.nn.functional.normalize(a) b_norm=torch.nn.functional.normalize(b) w1, x1, y1, z1 = a_norm[:, 0], a_norm[:, 1], a_norm[:, 2], a_norm[:, 3] w2, x2, y2, z2 = b_norm[:, 0], b_norm[:, 1], b_norm[:, 2], b_norm[:, 3] w = w1 * w2 - x1 * x2 - y1 * y2 - z1 * z2 x = w1 * x2 + x1 * w2 + y1 * z2 - z1 * y2 y = w1 * y2 + y1 * w2 + z1 * x2 - x1 * z2 z = w1 * z2 + z1 * w2 + x1 * y2 - y1 * x2 return torch.stack([w, x, y, z], dim=1)
最新发布
03-20
a_norm = torch.nn.functional.normalize(a) # 归一化第一个四元数 b_norm = torch.nn.functional.normalize(b) # 归一化第二个四元数 ``` - 确保四元数为单位四元数（模长为1） - 避免数值计算的不稳定性 2. ...
pytorch函数之torch.nn.functional.normalize()
qq_35091353的博客
05-24 3201
1、函数介绍 torch.nn.functional.normalize(input, p=2, dim=1, eps=1e-12, out=None) 1.1 作用 将输入的数据（input）按照指定的维度(dim)做p范数(默认是2范数)运算，即将某一个维度除以那个维度对应的范数。 2、举例 2.1 输入为一维Tensor dim=0，可以看到每一个数字都除以了这个Tensor的2范数：12+22+32=3.7416\sqrt{1^{2} + 2^{2} + 3^{2}} = 3.741612+2
torch.nn.functional.normalize用法
月亮不知道的博客
05-18 1194
L p 范数 a = torch.Tensor([1,2,3]) # a的L1范数为 6=1+2+3;L2的范数为 sqrt(14)=sqrt(1^2+2^2+3^2) torch.nn.functional.normalize 为了方便验证，以下使用了 L1 范数 当 dim = 0 b = torch.Tensor([[1,2,3], [4,5,6]]) # shape=(2,3) b0=torch.nn.functional.normalize(b,p=1, dim=0) b Out[200]:
【Python--torch.nn.functional】F.normalize用法 + 代码说明
Danger的博客
02-15 4553
【Python--torch.nn.functional】F.normalize用法 + 代码说明
torch.nn.functional.normalize()函数解读
热门推荐
qq_40178291的博客
10-12 3万+
** 函数作用 ** 对输入的数据（tensor）进行指定维度的L2_norm运算。 ** 代码示例 ** import torch.nn.functional as F >>> a=torch.tensor([1,2,3,4],dtype=torch.float32) >>> a tensor([1., 2., 3., 4.]) >>&g...
pytorch torch.nn.functional.normalize 应用
_yuki_
08-07 1664
torch.nn.functional.normalize torch.nn.functional.normalize(input, p=2, dim=1, eps=1e-12, out=None) 功能：将某一个维度除以那个维度对应的范数(默认是2范数)。
nn.functional.normalize
芒果干的博客
09-14 2348
的，输入矩阵是(3,4)，计算第1维就是4那一维(dim=0代表3那一维)。如下图所示，dim=1代表4那一维度，就是红色的那四个元素计算归一化，蓝色同理。也就是3那一维，所以对3个数进行归一化，这里以0.0107为例。下面举两个例子，一个二维一个三维。作用: 在指定的维度计算。范数，默认的计算是2范数。下面对函数的参数进行解释。
pytorch中torch.nn.functional.normalize、nn.norm和LayerNorm计算中的区别
taoqick的专栏
12-23 811
v=vmax⁡(∥v∥p,ϵ) \mathbf{v} = \frac{\mathbf{v}}{\max\left(\|\mathbf{v}\|_p, \epsilon\right)} v=max(∥v∥p​,ϵ)v​ nn.norm 计算方式 可以通过p参数指定是pro(Frobenium norm，其实就是平方和开根号)还是nuc（叫nuclear norm，其实就是SVD分解的奇异值，也就是Singular Value） LayerNorm 计算方式 分子减均值，分母对方差开根号，更多细节参考 超细节的
torch与tf中的normalization
yumao1的专栏
06-11 2878
1、四种常用normalization https://www.cnblogs.com/wanghui-garcia/p/10877700.html 2、图神经网络
torch norm() Formalize()
t20134297的博客
10-18 2516
torch中的normalize的功能是将一个向量单位化，比如一个向量为： x = [1,2,3,4] 则标准化过程为先求出这个向量的二范数，然后将每一个维度上面的值都除以这个二范数。 import torch.nn.functional as F import torch x = torch.randn(1,3) print(x) z = F.normalize(x) print(z) 运行结果为： tensor([[-1.0407, -1.1139, -0.9541]]) 设一个向量
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值