49、机器学习中的分布、约束与优化

机器学习中的分布、约束与优化

1. 分布类型与计算

1.1 均匀分布与高斯分布

在实际问题中，我们常常会遇到不同类型的分布，其中均匀分布和高斯分布是较为常见的两种。对于均匀分布，我们可以直接根据其定义来计算 $\sigma^2_W$。

• 均匀分布 ：$\sigma^2_W$ 的计算公式为 $\sigma^2_W = \int_{-w}^{+w} \omega^2 d\omega = \frac{2}{3}w^3$。
• 高斯分布 ：设 $w = \beta\sigma_W$ 且 $\gamma > 4$，可以生成符合归一化条件 $\int_{-w}^{+w} \frac{1}{\sqrt{2\pi}} e^{-\omega^2 / 2\sigma^2_W} d\omega = 2 \text{erf}(w) \approx 1$ 的高斯分布。

1.2 线性一致性问题

在解决线性一致性问题时，我们可以采用基于向量形式的抽象解释方法，这种方法能显著简化符号和求解过程。具体来说，我们考虑三个函数 $f_1(x) = \hat{W}’_1 \hat{x}$，$f_2(y) = \hat{W}’_2 \hat{y}$ 和 $f_3(x) = \hat{W}’_3 \hat{x}$，其中矩阵 $\hat{W}_i$（$i = 1, 2, 3$）满足一致性条件 $\hat{W}_3 = \hat{W}_1 \hat{W}_2$。

最佳拟合问题可以通过最小化目标函数来表达：
$E(\hat{W