68、信号处理中的参数估计与模型阶数选择

信号处理中的参数估计与模型阶数选择

1. 联合过程估计与顺序建模概述

在许多信号处理问题中，我们常常需要根据系统的输入来估计或预测其输出。当系统未知但我们能获取过去的输入和输出信号时，就可以运用参数估计的方法来构建系统的近似模型，并将该模型应用于未来的输入信号。这种估计与已知输入信号相关的期望输出信号的过程，被称为联合过程估计。它与自适应滤波算法密切相关，自适应滤波算法会在接收到新数据时迭代更新模型的参数。

联合过程估计问题主要有以下三种变体：
- 批量联合过程估计 ：假设系统是时不变的，使用所有可用数据来估计其参数。
- 分段最小二乘法 ：当感兴趣的系统随时间变化时，将数据划分为多个段，每个段使用不同的线性时不变（LTI）系统模型。
- 使用递归最小二乘法（RLS）和最小均方（LMS）的递归估计 ：在在线信号处理应用中，需要立即提供预测，或者系统随时间连续变化，此时需要顺序地提供估计，仅使用当前和过去的观测值来推断参数。

1.1 批量联合过程估计

1.1.1 随机情况

首先考虑随机情况，假设输入和输出信号是联合广义平稳（WSS）的，且已知其二阶统计量。要最小化的差异形式如下：
[
{h_{MMSE} [k]} {k=0}^{p} = \arg\min { {h[k]} {k=0}^{p}} E\left{ \left( d [n] - \hat{d} [n] \right)^2 \right}
]
将