机器学习--神经网络训练：Loss函数对于优化的影响

一、分类

将各个class定义为一个个向量，当然我们的feature值也是输入一个向量，通过regression得到一个y，也是一个向量来表示预测值。

但是这个数据是不是这个类别，只有0和1两种取值，所以我们用一个softmax函数将得到的预测值y转换为0和1之间的某个值，

具体举一个可能的例子，用预测值去除以所有预测值的总和来吧每个预测值变到0和1之间的某个数。

二、Loss函数的选择对于优化的影响

以前我们计算Loss函数的方法有这两种，那么哪种方法是比较常用的呢？

答案是cross-entropy，用下图可知，如果起始点在一个比较大的Loss的地方，我们用cross-entropy的话可以顺利的减小Loss，但是MSE就会因为大的Loss对应的点的梯度很小而很难优化。所以Loss 函数对于我们的优化也是有影响的。