激活函数总结（四十五）：激活函数补充(Smooth Step、LinComb)

最新推荐文章于 2024-11-27 20:19:40 发布
最新推荐文章于 2024-11-27 20:19:40 发布
阅读量473 收藏 1
点赞数 1
分类专栏： 深度学习 文章标签： 机器学习 深度学习 python 激活函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_36758270/article/details/132873425
版权
本文继续深入探讨激活函数，重点关注Smooth Step和LinComb两种不常见激活函数。Smooth Step激活函数具有稳定性，速度优于ReLU，但需特定训练策略。LinComb是可训练的激活函数组合，结合多种函数优点，但有效性未经充分验证。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

激活函数总结（四十五）：激活函数补充

1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d

了解本专栏 订阅专栏 解锁全文 超级会员免费看
smoothstep 平滑函数
sy_liao的专栏
05-26 3577
smoothstep 平滑函数 genType t; /* Or genDType t; */ t = clamp((x - edge0) / (edge1 - edge0), 0.0, 1.0); return t * t * (3.0 - 2.0 * t); smoothstep(0.3, 0.6, x)图像如下：< 0.3 为0； >0.6 为1 smoothstep(0.6, 0.3, x)图像如下： < 0.3 为1； >0.6 为0 ...
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 9040
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
smooth step
安柏霖的专栏
10-31 2712
smoothstep是一个cubic hermite interpolation.
【Shader Graph】SmoothStep节点详解及其应用
weixin_61427881的博客
11-14 6219
对于SmoothStep(t1，t2，x)（t1>t2），x = t1 时，返回0，t2 < x < t1 时，随着x的增大返回值逐渐由1减少至0。 对于SmoothStep(t1，t2，x)（t1
激活函数（Activation Functions）
对角巷
07-09 3215
神经网络结构的输出为所有输入的加权和，这导致整个神经网络是一个线性模型。如果将每一个神经元的输出通过一个非线性函数，那么整个神经网络的模型也就不再是线性的了，使得神经网络可以更好地解决较为复杂的问题。这个非线性函数也就是激活函数。
超越ReLU！SMU：一种新的激活函数，让CNN性能涨点！
阿木寺的博客
11-12 1898
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：集智书童SMU: smooth activation function for deep networks us...
激活函数总结（四十七）：激活函数补充(Adaptive Spline Activation Function、Adversarial Soft Advantage Fitting)
走在深度学习前沿的小宋
09-28 520
本文为前面介绍的激活函数进行了一些激活函数补充，包括：Adaptive Spline Activation Function、Adversarial Soft Advantage Fitting等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：Adaptive Spline Activation Function提出的时间过于久远，现在已几乎不再使用；Adversarial Soft Advantage Fitting具有很好的效果，但是使用场景具有局限性，使用的时候需要注意。。。。
激活函数总结（四十六）：激活函数补充(Nipuna、StarReLU)
走在深度学习前沿的小宋
09-28 525
本文为前面介绍的激活函数进行了一些激活函数补充，包括：Nipuna、StarReLU等激活函数及其在当前激活函数众多的情况下使用的环境。总的来说：Nipuna具有一定的效果，但是不会很常见。。。而StarReLU激活函数可以在深度学习领域广泛使用，具有很好的效果，有需要的小伙伴可以尝试使用，，，
深度学习6 激活函数、损失函数、BP算法
h0039490的博客
11-27 1403
隐藏层：relu 、tanh输出层：sigmoid、softmax。
Activation Function（激活函数） 持续更新...
W1995S的博客
04-05 1113
为什么需要激活函数？ 引入非线性函数作为激活函数，这样深层神经网络表达能力就更加强大（不再是输入的线性组合，而是几乎可以逼近任意函数）。 Sigmoid softmax softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。 1）将预测结果转化为非负数 下图为y=exp(x）的图像，我们可以知道指数函数的值域取值范围是零到正无穷。softmax第一步就是将模型的预测结果转化到指数函数上，这样保证了概率的非负性。 2）各种预测结果概率
Abaqus中常用的幅值曲线
热门推荐
join_yuan的博客
12-06 3万+
ABAQUS常用的幅值曲线－技术邻社区 (jishulink.com) https://www.jishulink.com/content/post/434578 本篇文章旨在分享推广，如有侵权，若侵即删！ 通过使用幅值曲线，可以描述边界条件和载荷等模型参数随时间或频率（稳态动力分析）的变化。 下面将介绍几种常见的幅值曲线类型。 1.默认的线性过渡幅值曲线Ramp ...
Shader绘制2D圆-SmoothStep函数-学习Cherno教程笔记-(OpenGL/Vulkan/DirectX/Metal)-新手向
qq_34060370的博客
02-03 2811
基本思路用Quad顶点包围一个范围作为画布（Canvas）用glsl控制画出一个圆内alpha为1，圆外的范围的alpha为0。如何控制在圆内的alpha为1，圆外的alpha为0用当前坐标点距离原点的长度、step函数来控制。
ABAQUS仿真结果云图不对称问题
Tang__CT的博客
11-30 6978
问题描述： 在某次使用ABAQUS进行冲压仿真的过程中，本应产生基本对称的应力应变云图，但是结果显示并不对称。 解决方法：设置幅值曲线 ABAQUS幅值曲线介绍 在ABAQUS中，通过使用幅值曲线，可以描述边界条件和载荷等模型参数随时间或频率（稳态动力分析）的变化。在Load功能模块和Interaction功能模块中都可以定义幅值曲线，方法：Tools->Amplitude ABAQUS中可以定义11种幅值曲线，分别是表格幅型值曲线、等间距型幅值曲线、周期型幅值曲线、调制型幅值曲线、衰减型幅值曲线、
【总结】激活函数 & 损失函数
学习 & 分享 ~
03-04 1964
S 型函数，也称为 S 型生长曲线、Logistic 函数。Sigmoid 函数常被用作神经网络的阈值函数，将变量映射到 (0,1) 之间，可以用来做二分类。定义域：任意实数 值域：0 到 1 计算公式：1/(1+exp(−x))1 / (1 + exp(-x))1/(1+exp(−x)) （1）函数特性（2）Sigmoid 函数公式 代码实现： （3）Sigmoid 函数的导数 代码实现： （4）Sigmoid 优点（5）Sigmoid 缺点由图可知，sigmoid 函数的导数从 0 开始向两边走，
smoothstep
weixin_30398227的博客
03-05 707
将返回一个 0 到 1 的值，该值表示参数在最小值和最大值之间的成比例距离。smoothstep 函数将用于在一段时间范围内逐渐但非线性地增加属性，例如，“不透明度”(Opacity)从 0 增加到 1。 smoothstep 函数与 linstep 函数的工作方式类似，不过其将在最小值和最大值之间的中间值附近更快地增加值。该函数使用最小值和最大值之间的 hermite 插值。 f...
smoothstep()，平滑阶梯函数，平滑过渡函数
图形跟班
03-31 2万+
函数定义： 参考：https://en.wikipedia.org/wiki/Smoothstep 相关函数图形如下： 计算机图形中经常用到正如上图所示的：两个smooth()函数相减。 相关C++代码：
Shader smoothstep使用
冠位仓鼠--慕白
09-26 2万+
smoothstep 说明
matlab二元函数偏导在某一点的切线_shader常用数学函数
weixin_39738273的博客
12-20 944
step(a,b) b >= a ? 1:0 smoothstep(x,y,a); //a如果小于x返回0 如果a>y返回1 在x y之间返回 3a^2-2a^3saturate(x);//如果x取值小于0，则返回值为0。如果x取值大于1，则返回值为1。若x在0到1之间，则直接返回x的值.）lerp(a,b,w); //(a,b,w)当w为0时返回a,为1时返回b,当w在0-1之间时，...
glsl smoothstep 属于埃尔米特(Hermite)插值
lynon的专栏
12-31 3070
转载一：  http://blog.youkuaiyun.com/meegomeego/article/details/8639126 smoothstep 转载 2013年03月05日 18:09:15 8643 将返回一个 0 到 1 的值，该值表示参数在最小值和最大值之间的成比例距离。smoothstep 函数将用于在一段时间范围内逐渐但非
unet损失函数
最新发布
03-22
### UNet 模型中损失函数的使用示例及实现方式 UNet 是一种广泛应用于图像分割任务的深度学习架构，尤其在医学图像处理领域表现优异[^4]。为了优化 UNet 的性能，合理选择并配置损失函数是非常重要的一步。以下是关于 UNet 中常用损失函数的选择及其具体实现方式。 #### 常见的损失函数类型 在图像分割任务中，常用的损失函数包括交叉熵损失（Cross-Entropy Loss）、Dice 系数损失以及它们的组合形式。这些损失函数各有优劣，适用于不同的场景和数据集特性[^1]。 ##### 1. 二元交叉熵损失 (Binary Cross Entropy, BCE) BCE 是一种经典的分类损失函数，适合用于像素级的二分类问题。它计算预测值与真实标签之间的差异，并通过负对数似然的方式放大错误预测的影响。 ```python import torch.nn as nn criterion = nn.BCEWithLogitsLoss() # 自动应用 Sigmoid 函数 ``` ##### 2. Dice 系数损失 Dice 系数是一种评估重叠区域相似性的度量标准，常被转化为损失函数用于优化模型参数。相比 BCE，Dice 损失更关注于正类样本的表现，因此更适合解决类别不平衡的问题。 ```python def dice_loss(preds, targets, smooth=1e-6): preds_flat = preds.view(-1) targets_flat = targets.view(-1) intersection = (preds_flat * targets_flat).sum() union = preds_flat.sum() + targets_flat.sum() loss = 1 - ((2.0 * intersection + smooth) / (union + smooth)) return loss ``` ##### 3. 组合损失 有时单一的损失函数可能无法充分捕捉复杂的数据分布特点，此时可以考虑将多种损失结合起来使用。例如，联合 BCE 和 Dice 损失可以在一定程度上平衡全局误差与局部结构一致性。 ```python alpha = 0.5 # 权衡系数 loss = alpha * criterion_bce(output, target) + (1 - alpha) * dice_loss(output, target) ``` #### 完整代码示例 以下是一个完整的 PyTorch 实现片段，展示了如何定义 UNet 并设置相应的损失函数： ```python class UNet(nn.Module): def __init__(self, in_channels, num_classes): super(UNet, self).__init__() # Encoder layers self.encoder1 = self.contracting_block(in_channels=in_channels, out_channels=64) self.encoder2 = self.contracting_block(in_channels=64, out_channels=128) # Decoder layers and other components omitted for brevity def contracting_block(self, in_channels, out_channels, kernel_size=3): block = nn.Sequential( nn.Conv2d(kernel_size=kernel_size, in_channels=in_channels, out_channels=out_channels, padding=1), nn.ReLU(), nn.BatchNorm2d(out_channels), nn.Conv2d(kernel_size=kernel_size, in_channels=out_channels, out_channels=out_channels, padding=1), nn.ReLU(), nn.BatchNorm2d(out_channels) ) return block def forward(self, x): # Forward pass logic here... return output # 初始化模型、损失函数和优化器 model = UNet(in_channels=1, num_classes=2) optimizer = torch.optim.Adam(model.parameters(), lr=0.001) criterion_dice = dice_loss criterion_bce = nn.BCEWithLogitsLoss() for epoch in range(num_epochs): model.train() for images, masks in dataloader: optimizer.zero_grad() outputs = model(images) bce_loss = criterion_bce(outputs, masks.float()) dice_lss = criterion_dice(torch.sigmoid(outputs), masks.float()) # Apply sigmoid before computing Dice total_loss = 0.5 * bce_loss + 0.5 * dice_lss total_loss.backward() optimizer.step() ``` 上述代码实现了基于 BCE 和 Dice 损失的联合训练过程，其中 `dice_loss` 被手动定义以便更好地控制细节[^3]。 --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sjx_alo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值