44、数学与概率知识在机器学习中的应用

数学与概率知识在机器学习中的应用

1. 二项式系数与自相关

1.1 二项式系数

二项式系数写作 $\binom{n}{k}$，读作 “n 选 k”，它是正整数，表示从 n 个元素的集合中不重复地选取 k 个元素组成无序子集的方式数。其计算公式为：
$\binom{n}{k} = \frac{n!}{k!(n - k)!}$

1.2 自相关

连续函数 $f[z]$ 的自相关 $r[\tau]$ 定义为：
$r[\tau] = \int_{-\infty}^{\infty} f[t + \tau]f[t]dt$
其中 $\tau$ 是时间滞后。有时会用 $r[0]$ 对其进行归一化，使时间滞后为零时的自相关为 1。自相关函数衡量了函数与其自身在不同偏移（即时间滞后）下的相关性。如果函数变化缓慢且可预测，那么随着时间滞后从 0 增加，自相关函数将缓慢下降；如果函数变化快速且不可预测，那么它将迅速降至 0。

2. 向量、矩阵和张量

2.1 基本定义

• 向量 ：在机器学习中，向量 $x \in R^D$ 是一个包含 D 个数字的一维数组，通常按列排列。
• 矩阵 ：矩阵 $Y \in R^{D_1×D_2}$ 是一个二维数组，有 $D_1$ 行和 $D_2$ 列。
• 张量 ：张量 $z \in R^{D_1×D_2…×D_N}$ 是一个 N 维数组。在深度学习 API（如 PyTorch 和 Tens