资料参考于NG的深度学习网站:http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/,实现课程中的练习题目
Softmax Regression
Softmax原理
softmax是Logistic Regression的泛化,其属于广义线性回归模型,具体的证明推导可以参见该博客;
由上面的证明可以得到损失函数:
J(θ)=−[∑i=1m∑k=1K1{
y(i)=k}logeθ(k)⊤x(i)∑Kj=1eθ(j)