1-1-数学基础_线性代数各阶主子式-优快云博客

本文链接：https://blog.youkuaiyun.com/chuyayu7770/article/details/83893482

本文介绍了深度学习的基础数学概念，包括张量的定义及其纤维和切片，详细阐述了向量和矩阵的各种范数，如1范数、2范数、无穷范数等，并讲解了矩阵的逆、伴随、奇异值等相关概念，还涉及实对称矩阵、正定矩阵的特性。此外，提到了导数偏导、特征向量以及概率分布和统计概念，如期望、方差、协方差和相关系数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

全文根据深度学习500问pdf版本，加上各种博客内容，具体链接文中已给出，侵删。

1.1张量

张量ｔｅｎｓｏｒ

可以看成是向量和矩阵在多维空间中的推广。标量是零阶张量，向量是一维张量，矩阵是两维张量。下面是一个三阶张量的例子，它有三维即3个mode。
在这里插入图片描述

纤维ｆｉｂｒｅ

固定１个维度，值变化２个维度。

切片ｓｌｉｃｅ

固定２个维度，值变化１个维度。

1.4范数

向量的范数

定义一个向量为：a=[-5, 6, 8, -10]。
向量的1 范数：向量的各个元素的绝对值之和，上述向量a 的1 范数结果就是：29。
向量的2 范数：向量的每个元素的平方和再开平方根，上述a 的2 范数结果就是：15。
向量的负无穷范数：向量的所有元素的绝对值中最小的：上述向量a 的负无穷范数结果就
是：5。
向量的正无穷范数：向量的所有元素的绝对值中最大的：上述向量a 的负无穷范数结果就
是：10。

矩阵的范数

定义一个矩阵A=[-1 2 -3; 4 -6 6]。
矩阵的1 范数：矩阵的每一列上的元素绝对值先求和，再从中取个最大的，（列和最大），
上述矩阵A 的1 范数先得到[5,8,9]，再取最大的最终结果就是：9。
矩阵的 2 范数：矩阵AT A的最大特征值开平方根，上述矩阵 A 的 2 范数得到的最终结果
是：10.0623。
矩阵的无穷范数：矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大），
上述矩阵A 的1 范数先得到[6；16]，再取最大的最终结果就是：16。
矩阵的核范数：矩阵的奇异值（将矩阵svd 分解）之和，这个范数可以用来低秩表示（因
为最小化核范数，相当于最小化矩阵的秩——低秩），上述矩阵A 最终结果就是：10.9287。
矩阵的L0 范数：矩阵的非0 元素的个数，通常用它来表示稀疏，L0 范数越小0