标量、向量、矩阵、张量和转置
线性代数笔记
机器学习中线性代数是很重要的基础内容,很多工作多年的码农把数学忘得一干二净了,为了学习机器学习又重新捡起来,本系列文章重点对机器学习中的线性代数做个简单的归纳总结,使学习起来有针对性。
标量(scalar)
一个标量就是一个单独的数,它不同于线性代数中研究的其他大部分对象(通常是多个数的数组)。我们用斜体表示标量。标量通常被赋予小写的变量名称。当我们介绍标量时,会明确它们是哪种类型的数。比如,在定义实数标量时,我们可能会说 ‘‘令 s ∈ R 表示一条线的斜率’’;在定义自然数标量时,我们可能会说 ‘‘令 n ∈ N 表示元素的数目’’。
向量(vector)
一个向量是一列数。这些数是有序排列的。通过次序中的索引,我们可以确定每个单独的数。通常我们赋予向量粗体的小写变量名称,比如 x。向量中的元素可以通过带脚标的斜体表示。向量 x 的第一个元素是 x1,第二个元素是 x2,等等。我们也会注明存储在向量中的元素是什么类型的。如
果每个元素都属于 R,并且该向量有 n 个元素,那么该向量属于实数集 R 的 n 次笛卡尔乘积构成的集合,记为 Rn。当需要明确表示向量中的元素时,我们会将元素排列成一个方括号包围的纵列:
我们可以把向量看作空间中的点,每个元素是不同坐标轴上的坐标。
有时我们需要索引向量中的一些元素。在这种情况下,我们定义一个