最小二乘法分析

分类：预测的变量是离散的
回归：预测的变量是连续的

极大似然估计：就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值。P(model|observation) 求给定当前观测值observation，该模型分布密度函数取最大值，即适合最多样本。
根据贝叶斯原理：
P(model|observation) = [ P(observation|model) * P(model) ]/ P(observation) 一般P(observation)已知，P(model)未知。

如果是线性估计则和最小二乘法区别不大。
最小二乘：对于n组观察值（X1，Y1），（X2，Y2）， …，（Xn，Yn）选择最佳拟合直线使所有观察值的残差平方和达到最小。即使下图的e最小，如果使用插值累加会存在抵消的情况，使用平方和使得对异常更加敏感。现在就变成了求线性方程的两个参数使残差平方和最小。采用求偏导的方法。