zhuguiqin1的专栏

参考资料：极大似然估计 —— Maximum Likelihood EstimationNegative log likelihood explained深度理解机器学习中常见损失函数交叉熵、相对熵和负对数似然的理解

本篇文章将解释 softmax 函数，它与负对数似然（negative log-likelihood）的关系以及它在执行反向传播算法时的导数。什么是 Softmax 函数softmax 函数首先是一个函数，它将含有K 个实值的向量转换为 K 个总和为1的实值向量。向量的K个输入值可以是正数、负数、零或大于 1，但 softmax 能将它们转换为介于0 和 1，因此它们可以被解释为概率。如果其中一个输入较小或为负，则softmax将其变成小概率，如果输入较大，则将其变成大概率，但始终保持在0和1之间。s

参考文档：https://zhuanlan.zhihu.com/p/89843248