cs231n assignment1 SVM vectorize梯度矩阵傻瓜式推导

梯度矩阵dW的vectorize实现

这个向量化实现想了很久，一直看不懂代码，别人的博客也没解释具体为什么会是那样实现的，尤其是为什么最后是X去乘上一个矩阵得到梯度矩阵，看得我一脸懵逼，最后我自己画了个2*3的矩阵才终于知道为什么要这么实现了。下面是我的思路，总体思路是先按前面写非向量化时已经学习过的知识推出结果，即dW矩阵的具体解析式，然后再去凑怎么能实现这个矩阵。

---

有几点要注意：

• $W_i$是W矩阵的一列，W是3073*10的矩阵，每一列对应每一类的权重
• $X_i$是X矩阵的一行，不是一个数，与$W_i$一样是一个向量
• $W_{y_i}$是当前样本正确分类对应的权重向量，也就是说随着样本不同i会变化,比如$W_{y_2}$为序号为2的样本的正确分类对应的权重

首先我们假设:
X.shape = (2,2)
W.shape = (2,3)
即$$X=\left\{\begin{array}{cc}{x}_{11}& x_{12}\\ x_{21}& x_{22}\end{array}\right\}$$
$$W=\left\{\begin{array}{ccc}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\end{array}\right\}$$
margins = X.dot(W)+1，$y_i=j时不算，且先置0$
$$\left\{\begin{array}{ccc}{X}_1{W}_1-X_1{W}_2+1& 0& X_1{W}_3-X_{1}W2+1\\ X_2{W}_1-X_2{W}_3+1& X_2{W}_2-X_2{W}_3+1& 0\end{array}\right\}$$
$L_i$实际就是margins的一行大于0的单位相加的结果，我们这里假设全>0

而我们要求的梯度矩阵，则根据梯度的公式，对于margins的每一行，对于每一个元素，若$X_i{W}_j-X_i{W}_{y_i}+1>0$则对应的$d{W}_j$列加上$X_i$,注意，$X_i$为一个向量，即X的第i行

计算后得
$$dW=\left\{\begin{array}{ccc}{x}_{11}+x_{21}& -2x_{11}+x_{21}& x_{11}-2x_{21}\\ x_{12}+x_{22}& -2x_{12}+x_{22}& x_{12}-2x_{22}\end{array}\right\}$$
可以看出来dW应该是X与某个矩阵相乘后得到的矩阵，试了一下X好像不行，得用X.T
易得
$dW=X.T.dot(\left(\begin{array}{ccc}1& -2& 1\\ 1& 1& -2\end{array}\right))$
我们可以发现每一行相加都得0，负数的绝对值为正数之和，且系数矩阵每行为1的位置正好对应$X_i{W}_j-X_i{W}_{y_i}+1>0$的位置，即margins>0的位置，负数位置正好对应$y_i$的位置，所以可以利用前面得到的margins矩阵直接构造出系数矩阵：

	#coeffmat: coeff全名coefficient,即系数
	
	#先把margins每行>0的数置为1,其余为0
    coeffmat = np.zeros((num_train,num_class))#初始化一个和W同样shape的系数矩阵
    coeffmat[margins>0]=1
    #把margins每行为0的部分置为-sum(本行)
    y_i = -np.sum(coeffmat,axis=1)
    coeffmat[range(num_train),list(y)] = y_i
    dW = X.T.dot(coeffmat)/num_train+reg*W #最后算上正则的求导与1/n的求导即可