sigmoid的良性替代方案

sigmoid的良性替代方案

前言

项目落地的时候,一定需要算法的统筹,实现算法整套流程进行验证的同时,还需要考虑资源与算子的实现问题,总之算法真的又当爹又当妈,修改算法和找到替换方法永远是个困难的事。

之前遇到一个网络量化问题,很多算子使用amct量化方式不适合,于是自己搞了个量化方式,具体量化方式不太能说,但是解决里边问题时候遇到一个算法很有意思——平方根快速倒数算法,虽然没用上。

一、遇到的问题

是这样,参数量化8位需要输入输出参数以及权重参数在[-128,127],但是每层的CONV+BN+RELU 后的输出参数相差会很大,量化到范围内精度会下降很多,因此考虑用sigmoid代替relu或者leakyrelu等激活函数,准确率下降了1%,还行能跑就行,还要什么自行车。但是坑爹的是,指数计算板端根本做不了,太消耗时间了,事情开始变得有趣了起来。

二、解决方案

最后考虑替换的方式:

用其他曲线相近的函数代替sigmoid带入训练过程中,目前选取了两组函数,暂定名字如下:
请添加图片描述
绘制图像如下:
请添加图片描述

可以看出, sigmoidRplace2加贴合sigmoid函数,带入训练变化会更小一点,另外一个曲线明显差很多,对于该趋近于0的值,并没有很好的趋近性,好好好,又说更贴合的实现起来比较复杂是吧,这样玩,又想损失我的精度,妥协,只能妥协,于是最终选择了sigmoidReplace1替代 ,精度下降就下降一点吧,资源不够嘛,把实现方式留在下边。

class sigmoid_replace(nn.Module):
  def __init__(self):
    super(sigmoid_replace, self).__init__()
  def forward(self, x, scaler):
    y = x/(1.0/scaler+abs(x))
    return 0.5+0.5*y

邀请

欢迎关注公众号及知乎栏目
公众号
请添加图片描述
知乎地址:
https://zhuanlan.zhihu.com/p/667466132

05-01
### Sigmoid 函数的定义 Sigmoid 函数是一种常见的激活函数,在机器学习领域被广泛应用于神经网络模型中。其数学表达形式为: \[ f(x) = \frac{1}{1 + e^{-x}} \] 该函数具有平滑连续的特点,能够将输入映射到 (0, 1) 的区间内[^1]。 以下是 Python 中实现 sigmoid 函数的一种方法: ```python import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) ``` 通过上述代码可以计算任意实数 \( x \) 对应的 sigmoid 值[^2]。 --- ### Sigmoid 函数的主要用途 Sigmoid 函数常用于二分类问题中的概率预测。由于它的输出范围严格限定在 (0, 1),因此非常适合表示事件发生的概率[^3]。此外,它还具备以下特点和应用场景: 1. **逻辑回归**:作为逻辑回归的核心组件之一,sigmoid 被用来估计样本属于某一类别的可能性。 2. **神经网络中的激活函数**:早期的前馈神经网络常用 sigmoid 来引入非线性特性,从而增强模型的学习能力。 3. **梯度平稳过渡**:相比阶跃函数sigmoid 提供了一个光滑的变化曲线,有助于优化算法收敛。 然而需要注意的是,现代深度学习更倾向于使用 ReLU 或其他变体替代 sigmoid,因为后者容易引发梯度消失问题[^4]。 --- ### Sigmoid 函数的数值稳定性改进版实现 为了提高数值稳定性,特别是在处理非常大或者非常小的输入值时,推荐采用如下改良版本: ```python def stable_sigmoid(x): positive_mask = x >= 0 z = np.zeros_like(x) z[positive_mask] = np.exp(-x[positive_mask]) z[~positive_mask] = np.exp(x[~positive_mask]) result = np.ones_like(x) result[positive_mask] = 1 / (1 + z[positive_mask]) result[~positive_mask] = z[~positive_mask] / (1 + z[~positive_mask]) return result ``` 此实现有效避免了因指数运算溢出而导致的结果不准确现象[^5]。 ---
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值