激活函数选择依据（功能）

最新推荐文章于 2025-02-08 22:11:54 发布
最新推荐文章于 2025-02-08 22:11:54 发布
阅读量747 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ziyue246/article/details/82222433
博客介绍了单侧抑制、宽兴奋边界、稀疏激活性等特性，还提及了防止梯度弥散和加快计算的作用，这些内容与信息技术领域相关。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、单侧抑制。

2、宽兴奋边界。

3、稀疏激活性。

4、防止梯度弥散。

5、加快计算。

归一化与激活函数：深度学习的双引擎
ZJQ的博客
07-16 74
Softmax函数在深度学习中具有双重身份：既是归一化操作，也是激活函数。作为归一化，它将原始输出转换为总和为1的概率分布；作为激活函数，它在输出层完成非线性转换用于分类决策。与单纯归一化（如Min-Max）或激活函数（如ReLU）不同，Softmax融合了两种功能，通过指数运算和归一化实现概率转换。这种特性使其在多分类任务中不可替代，既满足概率归一化的数学要求，又承担神经网络输出层转换的角色。
大模型LLMs组件系列：激活函数
jpw41的博客
08-22 800
💡 正如在全连接神经网络那篇文章中介绍Perception时提到的，人工神经网络中的激活函数（activation function）是对生物神经元达到膜电位阈值后发射常数脉冲的模拟，因此从神经生物学视角来看，1958年的感知机Perception中使用的非线性的0-1阶跃/符号函数是最理想的，但在数学层面却不是。阶跃函数不连续不可导，在BP反向传播中会带来巨大的计算问题；此外，对于线性神经网络而言，激活函数又承载着帮助线性结构拟合非线性规律、规范输出范围的功能，还得重点关注梯度问题。
深度学习（五）激活函数的选择 & 浅层神经网络的梯度下降
Sunwish的博客
08-27 1463
概述 本篇中你将了解几种常见的激活函数，并看到在浅层神经网络中向后传播及梯度下降是如何进行的。 原文地址：深度学习（五）激活函数的选择 & 浅层神经网络的梯度下降 5.0 上篇回顾 在上一篇中，你见到了一个单输出的浅层（双层）神经网络是如何进行向前传播的，就同 Logistic 回归网络一样，不过多重复了几次单层网络的向前传播过程而已。 对于隐藏层而言，所有的隐藏单元与输入层...
常用激活函数的选取
qq_43431934的博客
11-17 750
输出层的激活函数的选择要以业务要求进行选择，具体业务要求要进行具体分析。比如二分类问题常常使用sigmoid函数作为输出层的激活函数，多分类问题则常常使用softmax函数作为输出层的激活函数，线性回归问题可以直接使用线性函数作为激活函数。
机器学习（十五）：常见的激活函数及如何选择
weixin_45733884的博客
07-09 1074
当 z ≥ 0时，g(z) = z，当 z＜0时，g(z) = 0。当处理二进制分类问题时，激活函数优先选择Sigmoid函数，预测y=1的概率。当处理回归问题，y可以是正数，也可以是负数时，激活函数优先选择线性函数。：输入一个值x，如果隐藏层和输出层的激活函数都选择线性函数：g(z)=z。：如果隐藏层的激活函数都是线性函数，输出层的激活函数是Sigmoid函数。仍然是输入值x的线性函数，输出层的激活函数仍然是Sigmoid函数。可以得到，线性函数的线性函数本身是线性函数。，相当于隐藏层没有起什么作用。
如何选择正确的激活函数？
weixin_47032489的博客
03-09 1331
如何选择正确的激活函数？ 根据问题的性质，我们可以为神经网络更快更方便地收敛作出更好的选择。 用于分类器时，Sigmoid函数及其组合通常效果更好。 由于梯度消失问题，有时要避免使用sigmoid和tanh函数。 ReLU函数是一个通用的激活函数，目前在大多数情况下使用。 如果神经网络中出现死神经元，那么PReLU函数就是最好的选择。 请记住，ReLU函数只能在隐藏层中使用。 转载自： https://baijiahao.baidu.com/s?id=1582399059360085084&wfr=
深度学习激活函数及选择原则
zhangxiaolinxin的博客
02-13 2984
**一、激活函数：**一种非线性变换函数。 1、ReLU函数：ReLU(x)=max(x,0) ReLU函数只保留正数元素，并将负数元素清零。 函数图像如下： 函数求导图像如下： 2、Sigmoid函数：sigmoid(x)=1（1+exp(−x)） 将元素的值变换到0和1之间。 函数图像如下： 函数求导sigmoid′(x)=sigmoid(x)(1−sigmoid(x))，图像如下： ...
【激活函数】Activation Function——在卷积神经网络中的激活函数是一个什么样的角色？？
985小水博的摸鱼日常
09-13 1419
【激活函数】学习笔记！
常用激活函数介绍、实现以及优缺点分析
qq_45912145的博客
11-27 1400
激活函数 前言 机器学习新手，记录一些自己在学习机器学习中的理解，如果对大家有帮助，我感到很开心，如果有什么语言组织不当的地方，欢迎大家指正！ 一、为什么要用激活函数？ 一般而言，我们构造的模型都是线性的，但是在实际应用过程中，遇到的很多问题其实是非线性的，这个时候，就需要在模型中应用激活函数，从而提高模型的性能。 二、常见激活函数 1.sigmoid函数 sigmoid函数主要用于解决二分类问题，它的函数如下图中的式1； 图像如下图： 在jupyter中构造sigmoid函数的代码如下： i..
激活函数大揭秘：选择正确的激活函数优化你的神经网络
神经网络作为深度学习的核心，其内部结构与功能的实现离不开激活函数的存在。激活函数不仅仅为神经网络带来了非线性特性，使网络能够学习和执行复杂的任务，同时它还在前向传播和反向传播的过程中起到了至关重要的...
激活函数的选择
m0_68041978的博客
05-16 3735
1、sigmoid函数： 特点：输出值落于0-1的连续区间内，sigmoid函数的导数位于0-0.25的连续区间内，其在0处取得导数最大值为0.25。 局限性：在逆向传播中使用链式求导法则对神经网络模型中的权重调整幅度进行计算时，多个较小的梯度相乘后，会严重影响神经网络参数的调整，第一层的初始权重很难通过反向传播发生变化，容易出现梯度消失的状况。另外sigmoid函数在进行指数计算时需要消耗较多的算力资源，因此在平时的神经网络中较少使用sigmoid激活函数。 2、Tanh激活函数： 特点：输出值落
深度学习与神经网络-吴恩达（Part1Week3）-单隐层神经网络编程实现（python）
BigBang的博客
10-23 3606
一、
常见激活函数Activation Function的选择
tostq的专栏
02-24 2446
激活函数、ReLU、PReLU、Maxout、Swish、sigmoid、tanh、Tanhshrink、softshrink、hardshrink、ELU、Leaky ReLU、softsign、softplus、机器学习
激活函数的选择：如何确定最佳激活函数以优化神经网络性能
AI天才研究院
01-09 1468
1.背景介绍 神经网络是人工智能领域的一个重要研究方向，它通过模拟人脑中神经元的工作原理来实现自主学习和决策。激活函数是神经网络中的一个关键组件，它决定了神经元在不同输入下的输出值。在这篇文章中，我们将讨论如何选择最佳激活函数以优化神经网络性能。 2.核心概念与联系 2.1 激活函数的基本概念 激活函数是神经网络中的一个关键组件，它决定了神经元在不同输入下的输出值。激活函数的主要作用是将神...
神经网络基础——激活函数的选择、参数初始化
linxinyide的博客
02-20 2923
神经网络基础概述，介绍各个激活函数以及选择方法，包括sigmoid、tanh、ReLU、SoftMax等，了解参数初始化的各种方法及如何选择，主要包括kaiming、xavier等。
如何选取正确的激活函数
qq_21294373的博客
03-13 2680
转自博客https://blog.youkuaiyun.com/mrjiale/article/details/81043697，可供参考
第二章：8.1选择激活函数
2401_88060750的博客
02-08 961
ReLU：计算简单，训练速度快，适合隐藏层。Sigmoid：输出范围在 0 到 1，适合二进制分类问题的输出层。线性激活函数：适合回归问题的输出层。避免线性激活函数在隐藏层：因为多层线性函数仍然是线性函数，无法学习复杂的模式。
激活函数文章
最新发布
03-30
### 深度学习中的激活函数概述 在深度学习领域，激活函数对于提升模型性能具有至关重要的意义。它们不仅引入了非线性因素[^1]，还增强了模型的表达能力和简化了优化过程[^2]。 #### 1. 激活函数的作用 激活函数的主要功能在于打破神经网络的线性约束，使得模型能够处理复杂的非线性关系。如果未使用激活函数，则整个网络仅能表示输入的线性组合，这极大地限制了模型的能力[^5]。通过引入非线性变换，激活函数帮助网络更好地拟合数据分布并提高预测精度。 #### 2. 常见的激活函数及其特点 以下是几种常见的激活函数以及各自的优缺点： - **Sigmoid** Sigmoid 函数通常用于二分类任务中，其输出范围介于 `(0, 1)`之间。然而，该函数容易引发梯度消失问题，尤其是在深层网络中。 - **Tanh** Tanh 是一种双极型激活函数，输出范围为 `(-1, 1)`。相比 Sigmoid，它更适合某些场景下的特征提取，但仍存在梯度消失的风险。 - **ReLU (Rectified Linear Unit)** ReLU 是目前应用最为广泛的激活函数之一，定义为 \(f(x) = \max(0, x)\)，有效缓解了梯度消失现象。不过，当输入小于零时，ReLU 的导数恒为零，可能导致部分神经元失效（即“死亡”ReLU 问题）。 - **Leaky ReLU** Leaky ReLU 对标准 ReLU 进行改进，允许负值区域保留一定比例的小斜率，从而减少死神经元的发生概率。 - **Softmax** 主要应用于多分类任务，将多个类别的得分转化为概率形式，便于后续计算交叉熵损失。 - **Mish 和 Swish** Mish 和 Swish 属于较新型的激活函数类别，二者均表现出良好的平滑性和灵活性。其中，Mish 虽然计算成本较高，但在许多情况下可带来更高的准确性；而 Swish 则因其简单高效受到青睐[^3]。 ```python import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) def relu(x): return np.maximum(0, x) def softmax(x): exp_x = np.exp(x - np.max(x)) return exp_x / exp_x.sum(axis=0) ``` #### 3. 如何选择适合的激活函数？ 实际项目开发过程中，应依据具体需求选取恰当类型的激活函数。例如，在图像识别等领域，ReLU 及其变体往往表现优异；而对于序列建模任务来说，可能需要考虑其他选项如 LSTM 中内置的功能单元。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值