模型训练技巧——激活函数mish

代码地址：https://github.com/lessw2020/mish

1. mish的公式表达和曲线

　  公式表达：Mish=x * tanh(ln(1+e^x))

　  曲线表达，如下图所示：

Caption

2. mish的pytorch实现

class Mish(torch.nn.Module):
    def __init__(self):
        super().__init__()

    def forward(self, x):
        x = x * (torch.tanh(torch.nn.functional.softplus(x)))
        return x

　　效果还不错，你也试试吧！