数据回归

---

一、线性回归

即最小化均方误差LMS，其中X(i)表示第i个样本。
梯度下降求解：


牛顿法求解

概率角度理解LMS

2. 局部加权线性回归

二、非线性回归

1. 带非线性基的回归

2. logistic回归

回归分析可用来分析一个/多个自变量与一个因变量的关系,模型中因变量Y是边连续性随机变量,并要求呈正态分布。当因变量的取值仅有两个时，P和X的关系显然不能用一般线性回归模型P=B0 +B1 X来表示，这时可用Logistic回归分析。
Logistic分布函数,表达式为:

X的取值在正负无穷大之间;P(x)则在0-1之间取值,并呈单调上升S型曲线。

优势比(odds ratio, OR): 某个自变量X j 改变一个单位,造成的后验概率的比值的变化

logistic回归的参数用极大似然估计（MLE）

当使得 ln L 取得最大值时,参数估计值即为所求。

3. 欠拟合与过拟合