本文介绍了最小二乘法和梯度下降法在求解优化问题中的应用。最小二乘法适用于线性回归，通过求导找到使残差平方和最小的参数，可用代数或矩阵方法求解。梯度下降法则通过迭代寻找损失函数的最小值，适用于线性和非线性问题。文章还讨论了批量、随机和小批量梯度下降的优缺点，并指出损失函数的峰态影响梯度下降是否能找到全局最优解。
公众号: 数据小斑马,关注即可获得价值1000元的数据分析学习资料
神经网络系列目录：
神经网络①——神经网络原理介绍（BP算法）
神经网络②——python实现神经网络
神经网络③——sklearn参数介绍及应用
神经网络实战④——主播综合评分回归预测实战
一、最小二乘法
公众号: 数据小斑马,关注即可获得价值1000元的数据分析学习资料
先来解释几个概念
拟合函数/估值函数：在回归问题中，当给定一组样本时，找到一个最佳的函数来匹配所有的样本，这个函数就是拟合函数/估值函数
损失函数：判断函数拟合的好不好的函数，损失函数越小，说明拟合值与真实值越接近，误差越小，就越能用拟合函数来进行预测，损失函数的标准有以下几种：
a) 残差和： 指拟合值与真实值的差的和，有正有负会存在抵消的情况，不能反应真实误差
b) 残差绝对值和：这个可以解决残差和有正有负的问题，但是绝对值在后续的求导会异常麻烦
c) 残差的平方和：这就是最小二乘法，通过残差平方和求解极值，找到最佳的拟合函数
如何对损失函数求解呢？
① 代数求导法
假设拟合函数为一元线性函数：
其中ei为样本（Xi, Yi）的误差
平方和损失函数：
则通过Q最小确定这条直线，解决办法：将两个参数作为未知数，分别求偏导，代入所有的样本值，当偏导=0时，就求得极值
最低0.47元/天 解锁文章
扫一扫
1730
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
