超级会员免费看
本文介绍了两种不常见的激活函数——PDELU和CosLU。PDELU是一种参数化的变形指数线性单元，通过调整参数α和t，能有效推动激活响应的平均值，适用于深度学习。而CosLU结合了余弦和Sigmoid函数，其α和β参数可训练，控制激活曲线的形状。尽管这两种激活函数在特定场景下表现良好，但它们的模型普适性仍有待提高。
激活函数总结（三十八）：激活函数补充
1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identi
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
