SGD(Stochastic Gradient Descent)随机梯度下降

为了实现NCA，需要看看随机梯度下降

看完发现其实主要是求个目标函数的偏微分dw，求完后w = w - lr*dw，更新权重

然后发现numpy的转置对一维向量没用。好像矩阵运算的时候会自动转换行列。

最后：||w||_2: ||w||带一个下标2 的意思是这个该向量的范数为欧几里得范数，设w=<x1,x2,x3>, ||w||_2=x1^2+x2^2+x3^2 的开根号。
(||w||_2)^2 的意思是w的欧几里得范数的平方，也就是(||w||_2)^2=x1^2+x2^2+x3^2