激活函数的类型及使用

最新推荐文章于 2025-12-07 19:40:17 发布
原创 最新推荐文章于 2025-12-07 19:40:17 发布 · 134 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
可以通过改变随机初始化，避免过多特征为0；可以减小学习率，避免训练过程中数据分布的巨大变化，产生许多特征为0的情况被送入Relu函数中。
在这里插入图片描述
在这里插入图片描述
视频讲解

z_h_a_n_g_h
关注
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 9956
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
一文搞懂激活函数
码龙社的博客
04-11 1612
激活函数通过引入非线性特性，使得神经网络能够学习复杂的模式和特征。ReLU: 简单高效，适合大多数场景。: 改善了 ReLU 的“死亡神经元”问题。: 适合特定任务（如 RNN），但容易导致梯度消失。Softmax: 常用于多分类任务。Swish: 性能优越，适合深层网络。根据任务需求选择合适的激活函数，并结合其他组件（如卷积层、归一化层等），可以构建高效的深度学习模型。
神经网络激活函数列表大全及keras中的激活函数定义
老猿Python
10-06 2171
在机器学习中，激活函数是神经网络中的一种函数，用于在神经网络的每个神经元中引入非线性。没有激活函数，神经网络就无法学习复杂的模式，因为线性变换的组合仍然是线性的。在Keras中，激活函数可以通过设置单独的 Activation 层实现，也可以在构造层对象时通过传递 activation 参数实现。本文介绍了11个激活函数，包括线性函数linear、线性指数激活函数elu、整流线性单元relu、可伸缩指数线性单元SELU、softmax函数、softplus函数、softsign函数、sigmoid函数、ha
神经网络高级激活函数大全及keras中的函数定义
老猿Python
10-13 1579
本文介绍了神经网络中常用的高级激活函数以及Keras中的具体函数，高级激活函数通常比基础激活函数更复杂，可能包含更多的参数或计算步骤，通常旨在解决基础激活函数的某些限制，如梯度消失或激活函数的非单调性。基础激活函数适用于大多数情况，但高级激活函数可能在特定任务或网络结构中表现更好。选择哪种激活函数通常取决于具体任务的需求、数据的特性以及实验的结果。在实践中，可能需要尝试不同的激活函数来找到最适合特定问题的激活函数。
理解深度学习中的激活函数：类型、区别与应用场景
easyaigx的博客
04-11 1472
在神经网络中，激活函数是应用于每一层神经元的函数，其主要功能是决定神经元的输出。具体而言，激活函数接受来自上一层神经元的加权输入，并输出结果，供下一层神经元继续处理。它为神经网络引入了非线性特性，使得网络能够学习和拟合复杂的非线性关系。在没有激活函数的情况下，神经网络的每一层只是执行线性变换，即对输入数据进行加权求和并输出。然而，神经网络的目标是学习数据中的复杂模式，线性变换不足以捕捉数据的非线性特征。因此，激活函数的引入是非常必要的，它使得神经网络能够进行非线性映射，从而具备了表达复杂函数的能力。
激活函数的使用
爱学习的fatpig的博客
03-11 1479
为什么在分类时要使用激活函数 简单的二分类问题 1.网络结构的设计 将类别设为圆形为0、正方形为1 input: 每个点(圆形和正方形)的坐标 output: 0或者1 网络结构如下图 2.分类结果 输出为 y=w1x1+w2x2+by =w_1x_1+w_2x_2+by=w1​x1​+w2​x2​+b ，此为 x1x1x1 和 x2x2x2 的线性组合，线性组合只能是直线，这样就拟合处一条直线，将圆形和正方形进行分类，分类后的结果如下图 复杂的二分类问题 解决这类问题，如果我们还是用线性的方式
DL - 激活函数
AI工程化、开源分享、文档翻译、代码笔记
12-30 1599
激活函数 1、阶跃函数 2、Sigmoid 函数 3、tanh 函数 4、ReLU 5、ELU 6、Softmax
第二章：8.1选择激活函数
2401_88060750的博客
02-08 1091
ReLU：计算简单，训练速度快，适合隐藏层。Sigmoid：输出范围在 0 到 1，适合二进制分类问题的输出层。线性激活函数：适合回归问题的输出层。避免线性激活函数在隐藏层：因为多层线性函数仍然是线性函数，无法学习复杂的模式。
ANN 中的激活函数类型
jianqimingtian的博客
11-03 1015
它是迄今为止神经网络中最常用的激活函数。对 sigmoid 函数的需求源于这样一个事实，即许多学习算法要求激活函数是可微的，因此是连续的。通过改变 k 的值，可以获得不同斜率的 sigmoid 函数。它的范围是 （0,1）。生物神经网络以人工神经网络的形式建模，其中人工神经元模拟生物神经元的功能。但是，最常采用的是 （-1，+1） 的范围。它是一种广泛采用的特殊类型的神经网络的激活函数，称为反向。当 k 的值变得非常大时，sigmoid 函数将变为阈值函数。阈值函数几乎与阶跃函数类似，唯一的区别是。
23种激活函数
热门推荐
梦的灰色边沿...
11-07 2万+
文章目录一、简介二、激活函数种类1、恒等函数2、单位阶跃函数3、逻辑函数4、双曲正切函数5、反正切函数6、Softsign函数7、反平方根函数(ISRU)8、线性整流函数(ReLU)9、带泄露线性整流函数(Leaky ReLU)10、参数化线性整流函数(PReLU)11、带泄露随机线性整流函数(RReLU)12、指数线性函数(ELU)13、扩展指数线性函数(SELU)14、S型线性整流激活函数(S...
神经网络中的激活函数
XavierJ的博客
07-19 2405
引言 本文是对《Activation Functions in Neural Networks》一文的翻译。 什么是激活函数？ 它只是一个用来获取节点输出的函数，也常被称为传递函数。 为什么我们要在神经网络中使用激活函数？ 它被用来确定神经网络的输出，如是 (YES) 或否 (NO) 。它将结果值映射到0到1或-1到1等之间。（视功能而定）。 ...
tensorflow自定义激活函数实例
12-20
最后，这个自定义的激活函数 `square_tf` 可以像其他 TensorFlow 内置激活函数一样在模型中直接使用。 这个实例展示了如何在 TensorFlow 中自定义激活函数及其梯度，这对于理解深度学习模型的训练过程以及如何扩展...
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
minhuan的专栏
12-03 1200
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
人工智能的基石之三：硬件
最简单的方法，解决最实际的问题。
12-05 581
高性能硬件是人工智能的基石，尤其是在机器学习和深度学习领域，海量数据是常态。从充当计算机大脑的中央处理器 (CPU) 到加速计算的图形处理器 (GPU)，硬件的作用是提供处理和运行复杂数据算法所需的原始能力。
【论文速递】2025年第34周(Aug-17-23)(Robotics/Embodied AI/LLM)
最新发布
淋曦的进击手记
12-07 710
自我监督的学习有望消除对手动数据注释的需求，从而使模型能够毫不费力地扩展到大规模的数据集和较大的体系结构。通过不针对特定的任务或领域量身定制，这种训练范式有可能使用单个算法从不同的来源学习视觉表示形式，从自然到航空图像。该技术报告介绍了Dinov3，这是通过利用简单而有效的策略来实现这一愿景的主要里程碑。首先，我们利用仔细的数据准备，设计和优化来扩展数据集和模型大小的好处。其次，我们介绍了一种称为GRAM锚定的新方法，该方法有效地解决了长期训练时间表中已知但未解决的密集特征映射降解的问题。
AI泡沫什么时候破？
脑极体
12-04 578
而AI企业面对的短期形势，可能更为严峻。而AI公司和技术服务商，为了迎合决策者或拿下B端大项目，往往不计成本的低价竞标，无视人工成本的驻场开发，技术价值让位于领导偏好，企业自身也深陷人效黑洞，沦为挣辛苦钱的技术外包。To B/G不赚钱，To C也卖不上价，所以目前AI领域唯一清晰的商业模式，就是类似英伟达的“卖铲人”模式，卖加速卡和算力的企业成了这一轮AI浪潮的最大受益人。去伪存真之后，资本会冷却，叙事会修正，共识会重新凝聚，而那些持续追问“AI如何创造真实价值”的人，会与行业一同穿越周期，走向成熟。
【AI是否能替代IT从业者？】
博文致力于人工智能算法的探索研究；前后端分离项目的技术分享交流；专升本计算机基础课程内容讲解；各种中间件技术分享
12-03 1077
2025年IT行业面临AI深度重构：基础开发、测试、运维岗位替代率超60%，但AI相关新兴岗位激增380%。人类在复杂系统设计、伦理决策和跨界融合领域仍具不可替代性。微软等企业实践显示，人机协作可使效率提升40%。从业者需转型高价值领域（如Agent开发、大模型工程），掌握"技术+领域"双轨能力。AI本质是职业生态重构器，持续学习者的薪资溢价可达150%。建议立即评估岗位AI暴露指数，优先学习分布式架构优化、多智能体开发等技能。
AI驱动的网联自动驾驶汽车网络安全测试方法
NewCarRen的博客
12-03 1012
本文综述了网联自动驾驶汽车(CAV)网络安全测试面临的挑战与解决方案。随着CAV普及，网络攻击风险加剧，现有渗透测试方法面临测试环境成本高、专业人才匮乏等挑战。研究表明，人工智能(AI)在传统行业渗透测试中展现出缩短时间、提高效率的优势，但在CAV领域应用仍存在明显缺口。文章重点分析了强化学习等AI算法在渗透测试中的应用潜力，指出创建仿真环境是测试AI模型有效性的可行方案。开源工具VEINS被推荐为合适的仿真平台，其Python/C++接口便于AI模型集成。研究认为，若证实AI方法有效，可扩展应用于完整CA
建筑数字孪生与AI：工地数据化与智能决策解析
Azhiyuanshijie的博客
12-04 275
数字孪生整合BIM模型、无人机影像、传感器数据，构建工地虚拟模型。施工状态、材料使用、设备运行数据被实时采集，支撑预测与优化。服务，将算法嵌入实际施工管理系统，实现数据采集、分析、优化和决策闭环。系统可与BIM、ERP集成，形成完整数字孪生解决方案。通过虚拟映射和AI算法，施工过程从经验驱动转向数据驱动。数字孪生+AI，让工地变成“数据实验室”，提升效率、降低风险，并推动建筑企业迈向智能化时代。，企业可展示施工技术实力，实现品牌影响力和潜在客户转化。：AI提出最优施工方案，提升效率和安全。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值