SOFTMAX 的python实现

softmax 的python实现

softmax的原理可以在很多地方看见，这里就不详述了。这份代码采用SGD得到theta，有点麻烦的就是梯度公式如何计算，我觉得这里讲的还比较详细

数据集

以前看过一本Neural Network and Deep Learning， 这里面的例子使用的是mnist，并且作者已经写好data_loader，于是我就直接用了作者的 data_loader.
数据是手写字的图片，使用

training_data, validation_data, test_data = mnist_loader.load_data()

即可load出数据，其中train_data,validation_data, test_data都是一个元组，每个元组包含两个list。以train_data为例，train_data的第一个list长度为50000，每个元素是一个长度为784的list，其实train_data[0] 就是一个50000 ＊ 784 的矩阵，因为图片大小是28*28的，所以用784个元素表示一张图片；train_data[0]是一个长度为50000的list，每个元素是一个整数，代表相应图片中对应的数字。更多关于数据集的说明可以参看开头提到的那本NNDL。

cost function

cost function 就是对着斯坦福的softmax的讲义写的，不想细讲了

'''
    train_data: a 784 * 50000 matrix
    label: 10 * 5000