回归问题

线性模型形式简单，易于建模，蕴含着机器学习中一些重要的基本思想。
许多功能强大的非线性模型可在线性模型的基础上通过引入层级结构或者高维映射可得。（周志华西瓜书）（今天听的talk关于线性自回归网络）

线性模型具有很好的解释性。

1. OLS
   在线性回归中，最小二乘法就是试图找到一条线，使得真实值Y到这条线的欧式距离只和最小。

2. 回归中的异方差性
   定义：

   一般回归都要求随机扰动项的方差是常数。假如其方差不再是常数，而是互不相同，则认为出现了异方差性（heteroscedasticity）。

   异方差的类型：
   
   （来自《计量经济学》李子奈等 &4.2）

   异方差的修正—加权最小二乘法WLS（也称广义最小二乘法GLS）

   加权的主要思想：在采用普通最小二乘法时，对较小的残差平方赋予较大的权重，对较大的残差赋予较小的权数，以对残差提供的信息进行修正，提高参数估计的精度。

3. logistic回归（对数几率回归）