PyTorch里的损失函数(loss) 和 优化器(optimizer)

@创建于：2021.10.19

1、损失函数

本文列出PyTorch中常用的损失函数（一般通过torch.nn调用），并详细介绍每个损失函数的功能介绍、数学公式和调用代码。当然，PyTorch的损失函数还远不止这些，在解决实际问题的过程中需要进一步探索、借鉴现有工作，或者设计自己的损失函数。

1.1 二分类交叉熵损失函数

torch.nn.BCELoss(weight=None, size_average=None, reduce=None, reduction='mean')

$$\ell (x,y)=\{\begin{array}{ll}\mathrm{mean}(L),& \text{ if reduction }=\text{ ’mean’ }\\ \mathrm{sum}(L),& \text{ if reduction }=\text{ ’sum’ }\end{array}$$

1.2 交叉熵损失函数

torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='mean')

$$\mathrm{loss}(x,\text{ class })=-\log \left(\frac{\exp (x[\text{ class }])}{{\sum }_j\exp (x[j])}\right)=-x[\text{ class }]+\log \left(\sum _j\exp (x[j])\right)$$

1.3 L1损失函数

torch.nn.L1Loss(size_average=None, reduce=None, reduction='mean')`

$$L_n=||x_n-y_n|{|}_1$$

1.4 平滑L1 (Smooth L1)损失函数

torch.nn.SmoothL1Loss(size_average=None, reduce=None, reduction='mean', beta=1.0)

$$\mathrm{loss}(x,y)=\frac{1}{n}\sum _{i=1}^n{z}_i$$

1.5 MSE损失函数

`torch.nn.MSELoss(size_average=None, reduce=None, reduction='mean')`

$$l_n={\left(x_n-y_n\right)}^2$$

1.6 目标泊松分布的负对数似然损失

torch.nn.PoissonNLLLoss(log_input=True, full=False, size_average=None, eps=1e-08, reduce=None, reduction='mean')

当参数log_input=True：
$$\mathrm{loss}\left(x_n,y_n\right)=e^{x_n}-x_n\cdot y_n$$
当参数log_input=False：
$$\mathrm{loss}\left(x_n,y_n\right)=x_n-y_n\cdot \log \left(x_n+\text{ eps }\right)$$

1.7 KL散度

torch.nn.KLDivLoss(size_average=None, reduce=None, reduction='mean', log_target=False)

$$\begin{array}{rl}{D}_{\mathrm{K}\mathrm{L}}(P,Q)={\mathrm{E}}_{X\sim P}\left[\log \frac{P(X)}{Q(X)}\right]& ={\mathrm{E}}_{X\sim P}[\log P(X)-\log Q(X)]\\ & =\sum _{i=1}^{n}P\left(x_i\right)\left(\log P\left(x_i\right)-\log Q\left(x_i\right)\right)\end{array}$$

1.8 MarginRankingLoss

torch.nn.MarginRankingLoss(margin=0.0, size_average=None, reduce=None, reduction='mean')

$$\mathrm{loss}(x1,x2,y)=\max (0,-y\ast (x1-x2)+\mathrm{margin})$$

1.9 多标签边界损失函数

torch.nn.MultiLabelMarginLoss(size_average=None, reduce=None, reduction='mean')

$$\mathrm{loss}(x,y)=\sum _{ij}\frac{\max (0,1-x[y[j]]-x[i])}{x\cdot \mathrm{size}(0)}$$

1.10 二分类损失函数

torch.nn.SoftMarginLoss(size_average=None, reduce=None, reduction='mean')torch.nn.(size_average=None, reduce=None, reduction='mean')

$$\mathrm{loss}(x,y)=\sum _i\frac{\log (1+\exp (-y[i]\cdot x[i]))}{x\cdot \mathrm{nelement}()}$$

1.11 多分类的折页损失

torch.nn.MultiMarginLoss(p=1, margin=1.0, weight=None, size_average=None, reduce=None, reduction='mean')

$$\mathrm{loss}(x,y)=\frac{{\sum }_i\max (0,\mathrm{margin}-x[y]+x[i]{)}^p}{x\cdot \mathrm{size}(0)}$$

1.12 三元组损失

torch.nn.TripletMarginLoss(margin=1.0, p=2.0, eps=1e-06, swap=False, size_average=None, reduce=None, reduction='mean')

L ( a , p , n ) = max ⁡ { d ( a i , p i ) − d ( a i , n i ) + margin ⁡ , 0 } L(a, p, n)=\max \left\{d\left(a_{i}, p_{i}\right)-d\left(a_{i}, n_{i}\right)+\operatorname{margin}, 0\right\} L(a,p,n)=max{d(ai​,pi​)−d(ai​,ni​)+margin,0}
$$\text{ 其中, }d\left(x_i,y_i\right)={\Vert {\mathbf{x}}_i-{\mathbf{y}}_i\Vert }_{\text{・ }}$$

1.13 HingEmbeddingLoss

torch.nn.HingeEmbeddingLoss(margin=1.0, size_average=None, reduce=None, reduction='mean')

l n = { x n ,  if  y n = 1 max ⁡ { 0 , Δ − x n } ,  if  y n = − 1 l_{n}=\left\{\begin{array}{ll}x_{n}, & \text { if } y_{n}=1 \\\max \left\{0, \Delta-x_{n}\right\}, & \text { if } y_{n}=-1\end{array}\right. ln​={xn​,max{0,Δ−xn​},​ if yn​=1 if yn​=−1​

1.14 余弦相似度

torch.nn.CosineEmbeddingLoss(margin=0.0, size_average=None, reduce=None, reduction='mean')

loss ⁡ ( x , y ) = { 1 − cos ⁡ ( x 1 , x 2 ) ,  if  y = 1 max ⁡ { 0 , cos ⁡ ( x 1 , x 2 ) −  margin  } ,  if  y = − 1 \operatorname{loss}(x, y)=\left\{\begin{array}{ll}1-\cos \left(x_{1}, x_{2}\right), & \text { if } y=1 \\\max \left\{0, \cos \left(x_{1}, x_{2}\right)-\text { margin }\right\}, & \text { if } y=-1\end{array}\right. loss(x,y)={1−cos(x1​,x2​),max{0,cos(x1​,x2​)− margin },​ if y=1 if y=−1​
其中
$$\cos (\theta )=\frac{A\cdot B}{\Vert A\Vert \Vert B\Vert }=\frac{{\sum }_{i=1}^n{A}_i\times B_i}{\sqrt{{\sum }_{i=1}^n{\left(A_i\right)}^2}\times \sqrt{{\sum }_{i=1}^n{\left(B_i\right)}^2}}$$

1.15 CTC损失函数

torch.nn.CTCLoss(blank=0, reduction='mean', zero_infinity=False)

功能： 用于解决时序类数据的分类

计算连续时间序列和目标序列之间的损失。CTCLoss对输入和目标的可能排列的概率进行求和，产生一个损失值，这个损失值对每个输入节点来说是可分的。输入与目标的对齐方式被假定为 “多对一”，这就限制了目标序列的长度，使其必须是≤输入长度。

2、优化器

Pytorch很人性化的提供了一个优化器的库torch.optim，在这里面共有十种优化器。具体如下。

• torch.optim.ASGD
• torch.optim.Adadelta
• torch.optim.Adagrad
• torch.optim.Adam
• torch.optim.AdamW
• torch.optim.Adamax
• torch.optim.LBFGS
• torch.optim.RMSprop
• torch.optim.Rprop
• torch.optim.SGD
• torch.optim.SparseAdam

以上这些优化算法均继承于Optimizer，所有优化器的基类Optimizer。定义如下：

class Optimizer(object):
    def __init__(self, params, defaults):        
        self.defaults = defaults
        self.state = defaultdict(dict)
        self.param_groups = []

Optimizer有三个属性：
defaults：存储的是优化器的超参数；
state：参数的缓存；
param_groups：管理的参数组，是一个list，其中每个元素是一个字典，顺序是params，lr，momentum，dampening，weight_decay，nesterov。

3、参考链接

thorough-pytorch/第三章 PyTorch的主要组成模块