m0_66467467的博客

Normalization是指将数据进行变换，使其分布在固定或标准分布中，可分为归一化和标准化。

这种配合使得梯度下降过程中的导数计算非常简单且高效，因为在这种组合下，导数的结果与Softmax输出非常相关，这使得反向传播的计算更为直接。因此这种方式在实际应用场景中不合适，会丢失潜在的有意义的信息。因此，在实际应用中，会找到输出结果中的最大值，让每个值减去这个最大值，再应用Softmax函数。是输出结果中的第i个值，通过指数函数的作用，我们可以放大较大的值，缩小较小的值，这样便可拉开不同类别的差距。经过Softmax转换后，最大的值的概率大，最小的值的概率最小，且都在0-1之间，概率和为1。