超级会员免费看
本文深入探讨两种不常见的激活函数——NLSIG和EvoNorms。NLSIG源于COVID-19增长模型，模拟复杂现实情况，而EvoNorms则是一组演化的归一化-激活层，挑战传统设计，有望替代BN+ReLU，但可能增加计算成本。了解这些新颖激活函数有助于深化对深度学习的理解。
激活函数总结（四十四）：激活函数补充
1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
