原则

1.最大似然估计(Maximum Likelihood Estimation, MLE):

一个样本集中，给定了概率分布D，且其概率密度函数为fD，fD中有一个分布参数a，最大似然估计的目的就是求解参数a的最优值。其求解步骤为：

(1).确定似然函数：

(2).取对数似然函数：

(3).求导等于0，然后得出结果：

2.最大后验概率(Maximum A Posteriori, MAP):

在MLE的基础上，知道了参数a的先验概率，也即在对参数估计时需要考虑其先验概率，所以MLSE的目标是：

取对数并化简可得到：

所以根据其表达式可以看出，MAP相当于是对MLE和参数的先验概率做了权衡，同时考虑了两个方面的因素。

3.最小二乘法(Least Squares, LS)

简而言之就是通过使估计值与真值之差的平方最小而得到参数的过程，最小二乘法计算不难而且易于理解，但是它存在对噪声容忍度极低的缺点。

优化目标为：

4.最小均方误差准则(Minimum Mean Squared Error, MMSE)

通过使估计值与真值之差的平方均值最小而得到参数的过程，MMSE在含噪数据中有很好的精度，其优化目标为：

5.最小均方算法(Least Mean Square, LMS)

基于维纳滤波，借助速下降算法的一种算法，计算的步骤为：

6.递推最小二乘算法(Recursive Least Square, RLS)