2 回归问题

1.用极大似然估计解释最小二乘

• 由中心极限定理知道，当随机现象可以看做众多因素的独立影响的综合反映，往往服从正态分布
• 于是得到每个x（i）对应的概率密度函数，有因为每个x（i）独立同分布，所有由极大似然估计知道，似然函数是每个x（i）对应密度的乘积
  
• 于是由似然函数的求参数的方法，取对数，求导，取极值
  -
• 然后求导
  
• 导数为0，求解参数
• 但考虑到XT * X未必为可以求逆的，于是加上扰动因子
  ，本身是半正定的，加上一个正值后是一定可以求逆的
• 同时为了防止过拟合，加入的扰动为正则项
  

2.数据选择

最后一种将数据分为3个部分，第一部分找到参数，中间验证超参数，最后的一部分当做测试数据
最后的十折交叉验证，其实就是将训练数据和验证数据，均分为几份，通过交叉选取，求取参数，同时用剩下的一个验证超参数，最后取一个平均值，求表现最好的超参数值

3.伪逆与SVD

4.梯度下降算法非常重要

• 数据维度>100 梯度下降
• 数据维度<100 上边直接求逆

- BGD 批量梯度下降

• SGD 随机梯度下降，虽然没有批量的算的全，但计算量比较小，同时也是可以跳过一些比较差的最值
  
• mini-batch SGD 和随机梯度下降算法来比，不是每拿到一个样本就更改梯度，而是若干个样本的平均梯度作为更新方向
  -

5.线性回归

是一个非常基础的模型，就算不可以直接使用，也可以用来数据降维