一直以来对于机器学习和推荐系统是有什么区别,有什么联系???搞不懂!尤其是机器学习中有目标函数,优化方法一说,而推荐系统中也有这一说,这两东西难道是一个东西???到现在都有些迷迷糊糊的。所以下面是自己的粗浅看法,并不一定对,之后知识有更新了,再来链接里更新~
这是目录
一、机器学习中的目标函数
我们都知道在机器学习中 目标函数 = 经验风险 + 结构风险
经验风险
:即代价函数,是整个训练集上所有样本误差的平均(损失函数
是一个样本的误差)
结构风险
:即正则化项,用来防止过拟合的情况出现(过度学习历史数据,导致它在真正预测时效果会不好),常用 L1、L2 范数来进行正则化。
所以最优经验风险和结构风险的这个函数就被称为目标函数
。
N 代表样本数,L 函数代表损失函数,后面的代表正则化项。一般来说,损失函数越小,模型的鲁棒性会越好。(自我认为是可靠性高)
注意:
- 这里的 yi 是真实值 | 真实分布,f(xi) 是预测值 | 预测分布,预测值的效果是由所选择的模型决定的;
- 损失函数有很多种,比如 L1 Loss、L2 Loss、交叉熵等等
- 优化方法有很多种,比如梯度下降,最小二乘法等
所以如果代价函数已经达到最优了,模型仍不能很好的工作,那就可以考虑换一个模型或者损失函数或者考虑一下优化方法的收敛速度等等
。