系统辨识学习笔记（一），最小二乘辨识法

原文章（作者为本人）：https://zhuanlan.zhihu.com/p/27150269582
注：以下所有加粗小写字母均表示列向量，所有加粗大写字母均表示矩阵，其他为标量。

1、最小二乘估计

先复习一下最优估计算法中的最小二乘估计法。
假设$h1$、$h2$为输入量，$y$为输出量，存在线性关系$y=x_1{h}_1+x_2{h}_2$，写成矩阵形式：

现在有n组输入输出的样本数据，表示为：

定义

写成更简洁的形式：

其中$\mathbf{v}={\left[\begin{array}{cccc}v(1)& v(2)& ...& v(n)\end{array}\right]}^T$为噪声。
最小二乘估计的目标是，找到最优的$\mathbf{x}=\hat{\mathbf{x}}$，使得代价函数

最小，其中$\hat{\mathbf{y}}=\mathbf{H}\mathbf{x}$为估计值。
$E_e$对$\mathbf{x}$求偏导并使其等于0：

2、最小二乘辨识

3、递推最小二乘辨识