Loss及其梯度

一、Loss及其梯度

一、常见的Loss函数类型

1. Mean squared error(均方差，mse)
   1. 基本形式
      1. $loss=\sum [y-f_{\theta }(x){]}^2$
      2. $L2-norm=||y-f_{\theta }(x)|{|}_2$
      3. $loss=norm(y-f_{\theta }(x){)}^2$
   2. mse求导
      $$\frac{▽loss}{▽\theta }=2\ast \sum \left[y-f_{\theta }\left(x\right)\right]\ast \frac{▽f_{\theta }\left(x\right)}{▽\theta }$$
2. Cross Entropy Loss(交叉熵)
   1. 可用于二分类(binary)和多分类(multi-class)问题
   2. 使用时常与softmax搭配使用

二、使用Pytorch自动求导

1、autograd.grad函数使用

1. torch.autograd.grad(mse,[w])
   1. mse:给出的值
   2. [w]:自变量，切记requires_grad=True。
      1. 可以使用w.requires_grad_(True)修改。
      2. 可以在生成的时候设置requires_grad=True。
2. 相关代码

# 以f(x) = xw+b 为例
# x初始值为1，w为dim=1、值为2的tensor，b假设为0
#----------------------------------------------------------------------------------
x = torch.ones(1)
w = torch.full([1],2)
mse = F.mse_loss(torch.ones(1),x*w) # 第一个参数给的是pred值，第二个参数给的是label值
w.requires_grad_(True) #告诉pytorch需要梯度信息
mse=F.mse_loss(torch.ones(1),x*w) #静态图需要更新信息
#----------------------------------------------------------------------------------
print("mse = ",mse)
print("grad = ",torch.autograd.grad(mse,[w]))
# 输出： mse =  tensor(1.)
# 输出：grad =  (tensor([2.]),)

2、loss.backward函数使用

1. F.mse_loss(pred,label):求解出mse的值
   1. pred:是预测值
   2. label:是真实计算出的参数
2. w.backward() :反向传播求出梯度
3. 相关代码

# 以f(x) = xw+b 为例
# x初始值为1，w为dim=1、值为2的tensor，b假设为0
#----------------------------------------------------------------------------------
x = torch.ones(1)
w = torch.full([1],2,requires_grad=True)
mse = F.mse_loss(torch.ones(1),x*w)
mse.backward()
grad = w.grad
#----------------------------------------------------------------------------------
print("mse = ",mse)
print("grad = ",grad)
# mse =  tensor(1., grad_fn=<MeanBackward0>)
# grad =  tensor([2.])

三、Softmax激活函数

1、soft version of max简介

1. 在深度学习中，softmax在多分类的场景中使用广泛。他讲一些输入映射为[0-1]之间的实数，并且归一化保证和为1。

2、Softmax定义：

1. 函数：
   $$S\left(y_i\right)=\frac{e^{y_i}}{{\sum }_j^{}{e}^{yj}}$$
2. 演示
   

3、Softmax求导：

1. 当i==j时
   $$p_i=\partial \frac{e^{a_i}}{{\sum }_{k=1}^N{e}^{a_k}}$$
   $$\frac{\partial p_j}{\partial a_j}=\frac{\partial \frac{e^{a_i}}{{\sum }_{k=1}^N{e}^{a_k}}}{\partial a_j}=\frac{e^{a_i}\left({\sum }_{k=1}^N{e}^{a_k}-e^{a_j}\right)}{{\left({\sum }_{k=1}^N{e}^{a_k}\right)}^2}=\frac{e^{a_j}}{{\sum }_{k=1}^N{e}^{a_k}}\times \frac{\left({\sum }_{k=1}^N{e}^{a_k}-e^{a_j}\right)}{{\sum }_{k=1}^N{e}^{a_k}}=p_i\left(1-p_j\right)$$

2. 当i!=j时
   $$p_i=\partial \frac{e^{a_i}}{{\sum }_{k=1}^N{e}^{a_k}}$$
   $$\frac{\partial p_j}{\partial a_j}=\frac{\partial \frac{e^{a_i}}{{\sum }_{k=1}^N{e}^{a_k}}}{\partial a_j}=\frac{0-e^{a_j}{e}^{a_i}}{{\left({\sum }_{k=1}^N{e}^{a_k}\right)}^2}=\frac{-e^{a_j}}{{\sum }_{k=1}^N{e}^{a_k}}\times \frac{e^{a_i}}{{\sum }_{k=1}^N{e}^{a_k}}=-p_j\cdot p_i$$

3. 公式合并

   $$\frac{\partial p_j}{\partial a_j}=\{\begin{array}{l}{p}_i\left(1-p_j\right)ifi=j\\ -p_j\cdot p_{i}ifi\ne j\end{array}$$

   2. 使用Kronecker delta
      $$\delta ij=\{\begin{array}{l}1ifi=j\\ 0ifi\ne j\end{array}$$
      $$\frac{\partial p_i}{\partial a_j}=p_i\left({\delta }_{ij}-p_j\right)$$

4、Softmax函数及其求导：

a = torch.rand(3)
a.requires_grad_(True)
p = F.softmax(a,dim=0) #会自动完成建图操作
grad0 = torch.autograd.grad(p[0],[a],retain_graph=True) #必须是dim为1的
grad1 = torch.autograd.grad(p[1],[a],retain_graph=True)
grad2 = torch.autograd.grad(p[2],[a],retain_graph=True)

print("a = ",a)
print("p = ",p)
print("grad0 = ",grad0)
print("grad1 = ",grad1)
print("grad2 = ",grad2)
#-------------------------------------------------------------------------------
# a =  tensor([0.2260, 0.5295, 0.0540], requires_grad=True)
# p =  tensor([0.3128, 0.4238, 0.2634], grad_fn=<SoftmaxBackward>)
# grad0 =  (tensor([ 0.2150, -0.1326, -0.0824]),)
# grad1 =  (tensor([-0.1326,  0.2442, -0.1116]),)
# grad2 =  (tensor([-0.0824, -0.1116,  0.1940]),)