本文详细介绍了机器学习中最小二乘法、最大似然估计和最大后验估计的概念和关系。最小二乘法通过最小化实际值与估计值的平方差来寻找最佳估计值；最大似然估计则通过最大化似然函数来估计参数，当似然函数为高斯分布时与最小二乘法等价；最大后验估计结合了贝叶斯理论，考虑了参数的先验分布。此外，文章还探讨了查准率在评估分类模型时的重要性。
对最小二乘法（Least Square）、最大似然估计（ Maximum Likelihood Estimation）和最大后验估计之间的关系的整理。
一、最小二乘法
最小二乘法的本质就是找到一个估计值，使实际值与估计值的距离最小。而为了度量最小距离，只要使实际值与估计值之差的平方最小就好，下面就是最小二乘的表达式损失函数cost function，我们的目标就是求θ。
求解方法是通过梯度下降算法，通过训练数据不断迭代得到最终的值。
最小二乘的主要应用场景为回归分析，因为回归常用平方损失作为损失函数。
二，最大似然估计
1、似然函数的引出
我们从概率的角度考虑一下最小二乘求解原理，假设目标变量y和输入x的关系如下：
其中ε为误差项，假设服从正态分布，均值为0，标准差为σ，可以写成
我们带入上面的关系方程得到y的概率方程：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
