博客摘录「 Course2-Week2-神经网络的训练方法」2024年10月14日

注意到，Softmax层，也被称为“Softmax激活函数”，和之前的激活函数都不同。因为Softmax函数的输出 a j a_ja j​ 不只取决于当前的输入 z j z_jz j​ ，而是取决于所有的输入 z 1 , . . . , z N z_1,...,z_Nz 1​ ,...,z N​ 。所以Softmax层并不能逐个计算神经元的输出，而是需要“同时计算”该层所有神经元的输出。