DataWhale基础算法梳理第一次作业--线性回归

【学习任务】

1. 线性回归损失函数的极大似然推导：西瓜书公式3.4除了用最小二乘法以外，怎么用极大似然推得？
2. 一元线性回归的参数求解公式推导：西瓜书公式3.7和3.8怎么推来的？
3. 多元线性回归的参数求解公式推导：西瓜书公式3.10和3.11怎么推来的？
4. 线性回归损失函数的最优化算法：什么是批量梯度下降、随机梯度下降、小批量梯度下降？

做题：

1、线性回归损失函数的极大似然推导：西瓜书公式3.4除了用最小二乘法以外，怎么用极大似然推得？

2、一元线性回归的参数求解公式推导：西瓜书公式3.7和3.8怎么推来的？

3、多元线性回归的参数求解公式推导：西瓜书公式3.10和3.11怎么推来的？

4、线性回归损失函数的最优化算法：什么是批量梯度下降、随机梯度下降、小批量梯度下降？

批量梯度下降（Batch Gradient Descent，简称BGD）

   批量梯度下降每次迭代需要读取所有的样本，耗时较大，但因为每次是向着整体最优方向前进，因此迭代次数较SGD而言较少。

随机梯度下降（Stochastic Gradient Descent，简称SGD）

    针对批量梯度每次训练需要读取全部样本的问题，SGD每次只需随机读取一个样本进行梯度下降，对应上图中m=1的情况。SGD缺点是噪声较BGD而言比较多，每次迭代并非向整体最优的方向前进，因此迭代次数会多一些。

小批量梯度下降（Mini-Batch Gradient Descent，简称MBGD）

   MBGD继承上述两种情况的优点，选择样本数m相对较折中（大于1远小于样本总数），因此既能获得不错的学习速度，也能得到很好的精确度。