凸还是非凸?交叉熵在softmax和neural network中的不同凸性
交叉熵损失函数
交叉熵是极大似然估计的直接产物,常在分类问题中作为logistic回归和neural network的损失函数出现(据说在回归问题中最小均方误差使用较多)。
在优化过程中,函数的凸性对优化有较大影响,对于凸函数,局部最优解等同于全局最优解,因而能够通过基于梯度的方法找到全局最优解,而非凸函数局部最优解不等于全局最优解,使用基于梯度的方法不能保证找到全局最优解。交叉熵的凸性较为复...
原创
2018-05-16 20:02:37 ·
6294 阅读 ·
1 评论