15、结合扩展卡尔曼平滑（EKS）与期望最大化（EM）算法学习非线性动力系统

结合扩展卡尔曼平滑（EKS）与期望最大化（EM）算法学习非线性动力系统

在学习非线性动力系统时，结合扩展卡尔曼平滑（EKS）与期望最大化（EM）算法是一种有效的方法。下面将详细介绍该算法的基本组成部分、工作原理以及实验结果。

1. EM学习算法的基本组成

EM算法主要由期望步骤（E-step）和最大化步骤（M-step）组成。在E-step中，我们使用扩展卡尔曼平滑（EKS）来推断隐藏状态的近似条件分布；在M-step中，我们重新估计模型的参数。

1.1 扩展卡尔曼平滑（E-step）

给定一个由特定方程描述的系统，EM学习算法的E-step需要从观察到的输入和输出历史中推断隐藏状态。核心的推断量是两个条件密度：
- (P(x_k|u_1, \ldots, u_T, y_1, \ldots, y_T))，其中(1 \leq k \leq T)；
- (P(x_k, x_{k + 1}|u_1, \ldots, u_T, y_1, \ldots, y_T))，其中(1 \leq k \leq T - 1)。

对于非线性系统，这些条件密度通常是非高斯的，并且可能非常复杂。大多数非线性系统无法写出精确的推断方程，而且精确推断在计算上是难以处理的。

扩展卡尔曼平滑（EKS）的核心思想是用一个非平稳但线性的系统来近似一个平稳的非线性动力系统。具体来说，EKS将常规的卡尔曼平滑应用于非线性系统的局部线性化。在(x)空间的每个点(\tilde{x})，向量值函数(f)和(g)的导数定义了矩阵：
- (A_{\tilde{x}} \triangleq \frac{\partial f}{\partial