降维
写在前面:轴1的长度就是列的维数(有几列)
我们可以对任意张量进行的一个有用的操作是计算其元素的和。
在数学表示法中,我们使用∑符号表示求和。 为了表示长度为𝑑的向量中元素的总和,可以记为
在代码中,可以调用计算求和的函数:
x = torch.arange(4, dtype=torch.float32)
x, x.sum()
(tensor([0., 1., 2., 3.]), tensor(6.))
我们可以表示任意形状张量的元素和。
A.shape, A.sum()
(torch.Size([5, 4]), tensor(190.))
默认情况下,调用求和函数会沿所有的轴降低张量的维度,使它变为一个标量。
我们还可以指定张量沿哪一个轴来通过求和降低维度。
以矩阵为例,为了通过求和所有行的元素来降维(轴0),我们可以在调用函数时指定axis=0。 由于输入矩阵沿0轴降维以生成输出向量,因此输入轴0的维数在输出形状中消失。
A为
(tensor([[ 0., 1., 2., 3.],
[ 4., 5., 6., 7.],
[ 8., 9., 10., 11.],
[12., 13., 14., 15.],
[16., 17., 18., 19.]]),
A_sum_axis0 = A.sum(axis=0)
A_sum_axis0, A_sum_axis0.shape
(tensor([40., 45., 50., 55.]), torch.Size([4]))
指定axis=1将通过汇总所有列的元素降维(轴1)。因此,输入轴1的维数在输出形状中消失。
A_sum_axis1 = A.sum(axis=1)
A_sum_axis1, A_sum_axis1.shape
(tensor([ 6., 22., 38., 54., 70.]), torch.Size([5]))
沿着行和列对矩阵求和,等价于对矩阵的所有元素进行求和。
A

本文详细介绍了深度学习中的降维运算,包括沿特定轴求和以降低维度,以及非降维求和。此外,还讲解了点积、矩阵-向量积和矩阵-矩阵乘法的概念。同时,探讨了不同类型的范数及其在优化问题中的应用,对于理解张量操作和线性代数在深度学习中的作用至关重要。
最低0.47元/天 解锁文章
1万+

被折叠的 条评论
为什么被折叠?



