深度学习基础（一） —— softmax 及 logsoftmax

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.youkuaiyun.com/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

                       

 

softmax：重新定义了多层神经网络的输出层（output layer），注意仅和输出层有关系，和其他层无关。

• softmax function，也称为 normalized exponential（指数族分布的观点）；

1. softmax

我们知道在神经网络的前馈（feedforward）的过程中，输出层的输入（input）为：

zLj=∑kwLjk⋅aL−1k+bLj

---

• Negative log-likelihood function
• Softmax vs. Softmax-Loss: Numerical Stability

           

给我老师的人工智能教程打call！http://blog.youkuaiyun.com/jiangjunshow