回归问题：采用最小二乘法拟合多元多次函数来构造损失函数

第一张图是当模型为一元一次函数时的情况，以及其loss函数（二元二次函数）的图像是如何由函数的子项形成的，以及二元二次函数梯度的不同对学习率的影响。一般来说采用全量梯度下降时函数图像最陡，批量梯度下降次之，随机梯度下降或者说逐样本梯度下降最缓。

 

第二张图是采用逐样本梯度下降的情况。

 

第三张图是模型为二元一次函数时的情况，这时其loss函数为三元二次函数。

 

第四张图是模型为n元一次函数时的情况，这时其loss函数为（n+1）元二次函数。 

 

第五张图是模型为n元n次函数时的情况，这时其loss函数为（n+1）元2n次函数。 

 

 第六张图为解决多元多次模型过拟合的一些常用方法。

 

本文给出了采用最小二乘法拟合多元多次函数来构造损失函数的过程，可用于解决数值预测问题。关键在对样本的不同特征给定适当次数，一般可选一次至三次的组合（包括非整数次或负数次方），次数过小则模型欠拟合，次数过大则模型过拟合。对于重要的特征，如果自变量的绝对值（不处理或处理后）基本都是大于1的，则可选稍高的次数，这样自变量的变动对因变量的影响就越大，符合重要特征的特点；如果自变量的绝对值（不处理或处理后）基本都是小于1的，则可选负数次方，这样自变量的变动对因变量的影响也大，也符合重要特征的特点。

本文为作者原创，供大家交流探讨，如需转载或引用，请注明出处，谢谢！

转载于:https://www.cnblogs.com/chizi15/p/9786398.html