19、信息论、统计推断与神经网络应用

信息论、统计推断与神经网络应用

1. 随机近似与密度估计

1.1 随机近似算法

在有限样本数量 (N) 的情况下，由于收敛是在概率意义下定义的，所以不能保证 (D_N(p \parallel p_{\lambda})) 的有界性以及算法的收敛性。随机近似算法是一种替代方法，它会随着数据点 (x_i) 的到来依次更新参数，公式如下：
(\lambda_{i + 1} = \lambda_i - \epsilon \nabla_{\lambda} \ln \left( \frac{p(x_i)}{p_{\lambda}(x_i)} \right) = \lambda_i + \frac{\epsilon}{p_{\lambda}(x_i)} \nabla_{\lambda} p_{\lambda}(x_i))
如果能生成无限序列的数据点 (x_i)，那么随机近似算法的连续时间极限实际上等同于 Kullback - Leibler 距离的梯度下降算法。

1.2 最大熵原理与离散随机变量

当关于概率的信息不完整，仅以某些函数的平均值 (\langle f_{\alpha}(x) \rangle) 形式存在时，可使用最大熵（MaxEnt）原理进行密度估计。对于离散随机变量，熵的计算公式为：
(H(X) = - \sum_{x \in A} p(x) \log_2 p(x))
为了详细求解，将熵表示为 (H[p])，并使用自然对数：
(H[p] = -k \sum_{x \in A} p(x) \ln p(x))，其中 (k = 1 / \ln 2)
问题可正式表述为在约束条件 (\langle f_{\