在线性回归中极大似然和最小二乘法的关系

我在Logistic Regression回归中对损失函数用极大似然估计推导，在线性回归中对损失函数用最小二乘法推导，发现在推导梯度的过程中，结果是一样的，所以我对两种方法进行了分析对比。

一、最小二乘法

1.定义
当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值和观测值之差的平方和最小。
2.在线性回归中的损失函数

θ表示要求的参数，h(x)为观测值，y为理论值。

3.对其求偏导后的函数为
采用多元函数求极值的方法，对θ求偏导，让偏导等于0，求出θ值。当θ为向量时，需要对各个θi求偏导计算。

参数更新的公式为：

二、极大似然估计

1.定义
对于最大似然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。
2.在Logistic Regression回归中的损失函数

3.似然估计的思想
测量值 X 是服从概率分布的，求概率模型中的参数，使得在假设的分布下获得该组测量出现概率最大。

4.对似然估计求解得出偏导得出
多元函数求极值的方法，对θ求偏导，让偏导等于0，求出θ值。当θ为向量时，需要对各个θi求偏导计算。

参数更新的公式为：

三、极大似然估计与最小二乘法的联系与区别

由以上两点，我们可以看出用最小二乘法在线性回归和极大似然估计在Logistic Regression回归中根据损失函数求出的偏导是一样的。

在后面我会具体写出极大似然估计是怎么推导出和最小二乘法一样的具体步骤。

在回归算法中,用最小二乘法和最大似然估计求解损失函数时,最大似然法中，通过选择参数，使已知数据在某种意义下最有可能出现，而某种意义通常指似然函数最大，而似然函数又往往指数据的概率分布函数。与最小二乘法不同的是，最大似然法需要已知这个概率分布函数，这在实践中是很困难的。一般假设其满足正态分布函数的特性，在这种情况下，最大似然估计和最小二乘估计相同。

最小二乘法以估计值与观测值的差的平方和作为损失函数，极大似然法则是以最大化目标值的似然概率函数为目标函数，从概率统计的角度处理线性回归并在似然概率函数为高斯函数的假设下同最小二乘建立了的联系。