12、学习原理与信息学习方法解析

学习原理与信息学习方法解析

1. 频率学派与贝叶斯学派的推理方法

1.1 贝叶斯推理

贝叶斯推理使用概率来处理假设和数据，推理过程依赖于先验概率和观测数据的似然性。然而，贝叶斯推理存在严重的批评点，主要在于先验概率具有主观性。在很多情况下，很难选择一个无可争议的先验概率标准。不同的人可能会提出不同的先验概率，从而得出不同的后验概率和结论。此外，从哲学角度来看，将概率分配给假设存在根本的问题，因为假设并非可重复实验的结果，这也是与频率学派产生争议的根源。

1.2 频率学派推理

频率学派推理从不给假设分配概率，因此不存在先验概率和后验概率。推理过程依赖于观测数据和未观测数据的似然性，通常比贝叶斯框架更高效。频率学派认为只有数据可以被解释为可重复的随机样本，通过事件发生的频率来赋予其概率意义，而参数在可重复的估计过程中是常数。

1.3 两者对比总结

贝叶斯方法将参数视为未知的，并进行概率描述，把概率看作是信念的程度；而频率学派则是在不分配概率的情况下对假设进行检验。

1.4 相关练习

• 练习1 ：假设一个实验无限次重复（试验），试验相互独立，成功概率为 ( p )（未知）。若 ( m ) 次试验中有 ( r ) 次成功，证明下一次试验成功的概率为 ( Pr = \frac{r + 1}{m + 2} )，并据此预测“太阳明天会升起”这一事件（假设太阳年龄为45亿年）。
• 练习2 ：证明在多元正态分布的情况下，最大似然估计（MLE）原理得出 ( \mu = \fra