21、建模场论：最大似然与最大互信息估计原理解析

建模场论：最大似然与最大互信息估计原理解析

1. 最大似然估计的优势与局限

最大似然（ML）估计在模型准确时具有显著优势，是一种极为有效的通用估计技术。然而，其对模型准确性的要求较为苛刻，这在实际应用中可能成为重要限制。

例如，我们常能构建参数众多的灵活模型，使其完美拟合现有数据。非参数技术，如前馈或最近邻神经网络，就可用于实现这一目标。但使用参数过多且无约束的模型完美拟合数据，往往会导致模型缺乏泛化能力，即学习结果无法应用于新数据。

ML 估计要求模型是对现实的真实反映，但在实际中，我们构建的模型通常只是对现实世界的近似。不过，ML 允许并假定数据与模型存在偏差，只要这些偏差是随机的。实际上，即便数据与模型的偏差并非真正随机，很多时候也可近似看作随机，所以 ML 估计对于近似模型也常适用。

2. 最大互信息估计原理

另一种估计原理基于模型与数据之间的最大互信息（MMI）。当模型是对世界准确的物理模型时，互信息可被解释为一种似然，我们称之为爱因斯坦似然。

与经典统计似然将模型与数据偏差的不确定性归因于未知原因不同，爱因斯坦似然将其归因于世界的未知微观状态。MMI 原理等同于爱因斯坦似然，它基于自适应先验模型中所包含的先验知识（无论好坏），从数据中提取最大信息，即便模型是近似的。因此，相较于 ML，MMI 更适合近似模型。

3. 建模场论的生物解释与应用展望

此外，还探讨了基于相似度最大化对建模场论（MFT）内部动力学的一种可能生物学解释，将其视为一种学习的本能或内在驱动力。

在后续应用方面，有两种基于 MFT 理论的不同系统值得关注：
-