机器学习深版02：回归

机器学习深版02：回归

1. 线性回归 Linear regression

1. 误差服从高斯分布（正态分布）、最小二乘法本质

中心极限定理的意义：实际问题中，很多随机现象可以看做众多因素的独立影像的综合反应，往往近似服从正态分布。

这样就是给定一个x(i)，就能得到一个y(i)的概率密度。
因为他们是独立的，所以联合概率就是直接每个乘起来，得到似然函数。

取他们的对数似然，得到结果，然后取最大值，即最后一行取最小。
发现：这就是最小二乘估计，相当于这样使用是默认了服从高斯分布。

2. 聊聊“假设”

1. 内涵性：应该是正确的，而不是绝对正确
2. 简化性：只是接近真实，是被简化过的
3. 发散性：在某个简化的假设下推导得到的结论，不一定只有假设的情况下才成立

3. 最小二乘法的本质（矩阵）（续1.）

假定样本服从高斯分布，样本相互独立，用似然估计，得出

emm计算的草稿，最终推导出来参数的解析式：

如果不可逆，增加扰动。

4. 岭回归（Ridge回归）

因为不想让参数过大，加了L2正则项的最小二乘估计：

5. 套索回归 LASSO

做了L1正则。
实验出来，好像做了特征选择一样，高阶的特征的参数基本上是0。

6. 弹性网络ElasticNet（L1和L2正则的结合体）

7. 机器学习与数据使用

上面这个超参数，需要自己指定，通过实验来确定更好的值。

8. SVD计算矩阵的广义逆

一种求参数“seta”的方式

9. 梯度下降算法

求偏导

梯度下降可能得到最优解，但是线性回归只有一个最优解，所以~

1. BGD:批量梯度下降算法

所有样本加起来做的，所以是批处理的

2. SGD（随机梯度下降）

与BGD相比，优先使用SGD

3. mini-batch-SGD

这个用的最多。

10.TSS、RSS、R方、ESS

11.局部加权回归

2. Logistic回归

1. 推导过程

参考博文：https://www.cnblogs.com/yinheyi/p/6131262.html

2.线性回归与Logistic回归

线性回归：假定模型服从高斯分布，用极大似然估计推导
Logistic回归：假定模型服从二项分布，用极大似然估计推导（MLE）
但最终得到的学习规则在形式上是一致的。

3. 对数线性模型

反过来看，可以由上述来推导出sigmoid函数：

3. 损失函数

3. 多分类：Softmax回归

参考博文：https://www.cnblogs.com/yinheyi/p/6131262.html

4. ROC曲线，AUC：曲线下的面积

TPR：实际为正预测为正 / 实际为正
FPR：实际为负预测为正的 / 实际是负
上图2*2的矩阵就是混淆矩阵
最小是0.5，最大是1：如果比0.5小，这说明这模型没啥意义

5. 自回归

我和前几天的数据是相关的还是线性相关。