10、神经网络数学基础全面解析

神经网络数学基础全面解析

1. 向量基础

向量是一串数值或变量。比如 (9,2,6,4,8) 是包含 5 个值的向量，(x,y,z) 或 (m,p,r) 则是变量向量。我们称前者为五维向量，后两者为三维向量。不同书籍对向量的表示方法有所不同，这里我们有时用 (x,y,z)，有时用 [x,y,z]，可将后者视为 R 列表。通常用大写粗体字母（如 X）或带箭头的字母（如 $\vec{X}$）来命名向量，在白板书写时，箭头表示法更方便，这里我们采用大写粗体字母表示法，例如 X = [m,r,p]。无论向量是由变量（如 X = [m,r,p]）还是值（如 X = [1200, 6, 2]）组成，m、r、p 或 1200、6、2 都被称为向量的元素，m 或 1200 是向量的第一个元素，r 或 6 是第二个元素，依此类推。

向量元素通常来自实数集，实数集用 R 表示。若向量由两个实数元素组成，称该向量属于 $R^2$；若有三个实数元素，则属于 $R^3$；若有 n 个实数元素，则属于 $R^n$。“属于”用符号 ∈ 表示，例如若 X = [1200, 6, 2]，则可写作 $X \in R^3$。

2. $R^2$ 的另一种视角

在数学中，(3,8) 被称为有序对，因为它是明确的一对，且顺序很重要，与 (8,3) 不同。对于有序对，元素的表达顺序有意义，3 是 (3,8) 的第一个元素，8 是第二个元素。

假设有两个集合 A = {2,9,4} 和 B = {q,r}，考虑由有序对组成的集合，其中每个有序对的第一个元素来自 A，第二个元素来自 B，例如 (9,q) 和 (2,r)。所有这些有序对构成的集合用 A × B 表示，读作 A “叉乘”