DataWhale基础算法梳理-1.线性回归，梯度下降

一。问题：

1.线性回归损失函数的极大似然推导：西瓜书公式3.4除了用最小二乘法以外，怎么用极大似然推得？

2.一元线性回归的参数求解公式推导：西瓜书公式3.7和3.8怎么推来的？

3.多元线性回归的参数求解公式推导：西瓜书公式3.10和3.11怎么推来的？

4.线性回归损失函数的最优化算法：什么是批量梯度下降、随机梯度下降、小批量梯度下降？

二。笔记

4.

批量梯度下降（Batch Gradient Descent）

在每一轮的训练过程中，Batch Gradient Descent算法用整个训练集的数据计算cost fuction的梯度，并用该梯度对模型参数进行更新。

随机梯度下降（Stochastic Gradient Descent）

和批梯度下降算法相反，Stochastic gradient descent 算法每读入一个数据，便立刻计算cost fuction的梯度来更新参数。

小批量梯度下降（Mini-batch Gradient Descent）

mini-batch Gradient Descent的方法是在上述两个方法中取折衷, 每次从所有训练数据中取一个子集（mini-batch） 用于计算梯度。

三。参考资料

1.矩阵求导、几种重要的矩阵及常用的矩阵求导公式

2.优化方法总结：SGD，Momentum，AdaGrad，RMSProp，Adam