损失函数

参考资料

1、机器学习中的损失函数
2、一个国外网站讲loss函数
主要是想了解关于CNN中的交叉熵损失，不过里面介绍的Multiclass SVM loss也比较容易理解，推荐阅读。

3、SGD随机梯度下降

4、softmaxt回归

---

下面推荐一下关于softmax损失函数几个资料
5、手打例子一步一步带你看懂softmax函数以及相关求导过程
这里面简单介绍了softmax函数以及softmax函数的求导，不过为了更好地理解，个人感觉下面的这篇推荐资料更好的解释了在神经网络中输出层应用softmax函数，且损失函数为交叉熵损失时的求导过程。
6、softmax的log似然代价函数（公式求导）
这篇文章是5中引用的（参考的）一篇文章，不过里面关于softmax函数的求导是整体进行的，更符合我们常见的形式，也有助于我们的理解。
7、交叉熵代价函数（作用及公式推导）
这篇文章中解释了二次代价函数在训练ANN时可能会导致训练速度变慢的问题
8、softmax函数及其导数
这一篇比较系统地介绍了softmax函数，包括含softmax函数导数及其性质等，可以推荐阅读，这实际上是一篇译文，原文为下面的这篇推荐资料。
9、The Softmax function and its derivative
这是对于上篇推荐资料的原文。