14、利用期望最大化算法学习非线性动力系统

利用期望最大化算法学习非线性动力系统

1. 学习随机非线性动力学

自控制论出现以来，动力系统在从工程到物理和社会科学等众多领域中一直是重要的建模工具。大多数现实的动力系统模型具有两个基本特征：
- 随机性 ：观测输出是输入的含噪函数，动力学本身可能由一些未观测到的噪声过程驱动。
- 有限维内部状态 ：由一个有限维的内部状态来表征，该状态虽不可直接观测，但能在任何时刻总结与预测过程未来演化相关的过去行为的所有信息。

从建模角度看，随机性对于使具有少量固定参数的模型生成丰富多样的时间序列输出至关重要。明确对内部状态进行建模可以将内部动力学与观测过程分离。例如，对随风飘动的气球的视频图像序列进行建模时，直接根据先前像素强度数组预测相机像素强度数组的计算成本非常高。更明智的做法是推断气球的真实状态（位置、速度和方向），并将控制气球动力学的过程与将实际气球状态映射到测量像素强度数组的观测过程分离。

在很多情况下，我们可以根据问题结构和噪声源的先验知识直接写出控制这些动力系统的方程。此时，我们可能希望从系统输入和输出的一系列观测中推断系统的隐藏状态。解决这个推断或状态估计问题对于跟踪或状态反馈控制器的设计等任务至关重要，并且有一些知名的算法可用于此。

然而，在许多情况下，动力系统的确切参数值甚至总体结构可能未知。在这种情况下，必须仅从观测序列中学习或识别系统的动力学。如果最终目标是进行有效的状态推断，学习可能是必要的前提。但即使我们对模型的内部状态没有明确兴趣，学习基于非线性状态的模型本身也很有用，可用于预测（外推）、时间序列分类、异常值检测和填补缺失观测（插补）等任务。 </