关于深度学习中的激励函数的傻瓜式理解

最新推荐文章于 2024-11-07 16:28:09 发布
最新推荐文章于 2024-11-07 16:28:09 发布
阅读量467 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 随笔 Tensorflow python 深度学习 机器学习 文章标签： 激励函数 activation function
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Johnisjohn/article/details/90139903
本文介绍了激活函数在神经网络中的作用，将其比喻为‘掰弯函数’，赋予线性函数非线性特征。文章列举了ReLu, Tanh, sigmoid等常见激活函数，并强调在深层神经网络中选择合适激活函数的重要性，以防梯度消失或爆炸。同时，指出了不同类型的神经网络如CNN和RNN中常用的激活函数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

资料来源 

https://www.youtube.com/watch?v=tI9AbaBfnPc&list=PLXO45tsB95cKI5AIlf5TxxFPzb-0zeVZ8&index=13

 

看了莫烦老师关于激励函数的视频，做个记录：

激励函数就是“掰弯函数”，它将线性函数掰弯，使得输出结果有了非线性的特征。

激励函数有ReLu,Tanh,sigmoid等，也可以是自己写的函数，但是要保证可以微分。

如果神经网络的层数很少只有一两层，那么随便用哪一个激活函数都行，但是如果层数很多，就要慎重选择激活函数，否则还会引起梯度爆炸或梯度损失等问题。

一般来说，在卷积神经网络CNN中用ReLu，在循环神经网络RNN中用ReLu或Tanh

深度学习的激励函数
UESTC_C2_403的博客
06-18 9025
1.sigmoid函数： 导数为：。这个数值不会超过0.25.。通过sigmoid函数计算的函数值在0~1之间，如果神经网络的层数很多，如果每一层的激励函数采用sigmoid函数，就会产生梯度弥散的问题。因为利用BP函数更新参数的时候，会乘以它的导数，所以会一直减小。并且在比较大或者比较小的时候，会产生饱和效应，导致神经元类似与死亡。 2.tanh函数 导数： 。tanh函
聊一聊深度学习中常用的激励函数
拿Q
10-18 1473
  大家都知道，人脑的基本计算单元叫做神经元。现代生物学表明，人的神经系统中大概有860亿神经元，而这数量巨大的神经元之间大约是通过1014−1015个突触连接起来的。上面这一幅示意图，粗略地描绘了一下人体神经元与我们简化过后的数学模型。每个神经元都从树突接受信号，同时顺着某个轴突传递信号。而每个神经元都有很多轴突和其他的神经元树突连接。而我们可以看到右边简化的神经元计算模型中，信号也是顺着轴突...
【深度学习】之 激励函数
dongle0224的博客
06-17 692
写在前面： 最近才开始学习Deep Learning，希望用写博客的方式记录下整个学习过程。菜鸟的进阶之路，开启~~~（基于pytorch） ----------------------手动分割------------------ 激励函数（Activation Function AF） 深度学习中的激励函数简而言之就是：一个非线性函数。它可以将线性方程转化为非线性的，以便深...
深度学习中常用的激励函数
an0509的博客
07-22 586
深度学习中常用的激励函数 我们知道深度学习的理论基础是神经网络，在单层神经网络中（感知机），输入和输出计算关系如下图所示： 可见，输入与输出是一个线性关系，对于增加了多个神经元之后，计算公式也是类似，如下图： 这样的模型就只能处理一些简单的线性数据，而对于非线性数据则很难有效地处理（也可通过组合多个不同线性表示，但这样更加复杂和不灵活），如下图所示： 那么，通过在神经网络中加入非线性激励函数后，神经网络就有可能学习到平滑的曲线来实现对非线性数据的处理了。如下图所示： 因此，神经网络中激励函数的作用通俗上讲就
深度学习与计算机视觉(11)_基于deep learning的快速图像检索系统
寒小阳
03-11 5万+
本系统是基于CVPR2015的论文《Deep Learning of Binary Hash Codes for Fast Image Retrieval》实现的海量数据下的基于内容图片检索系统，250w图片下，对于给定图片，检索top 1000相似时间约为1s，其基本背景和原理会在下文提到。 2.基本问题与技术 大家都知道，基于内容的图像检索系统是根据图像的内容，在已有图像集中找到最『相近』的图片。而这类系统的
机器学习入门&安装Anaconda
最白の白菜的博客
11-24 1992
机器学习入门&安装Anaconda 前言 Python基础其实有Java的学习经历差不多一个星期就可以学完了，但是我用了将近两星期，算是边玩边学吧，总的来说基础就跟Java的东西差不多，无疑就是多了元组，列表和字典的一些操作和语法。后面又学习PR剪辑，算是满足的自己的临时兴趣，不过之后学习到vlog阶段要买相机什么的，学生党没钱（手动狗头），所以先缓缓学习PR，继续在学习Python的这条道路上走下去，我的学习方向是人工智能机器学习+深度学习。至于我为什么学习Python，不学Java了，因为我得紧
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
一个合格的程序员应该读过哪些书
热门推荐
justjavac(迷渡)
08-14 6万+
编者按：2008年8月4日，StackOverflow 网友 Bert F 发帖提问：哪本最具影响力的书，是每个程序员都应该读的？ “如果能时光倒流，回到过去，作为一个开发人员，你可以告诉自己在职业生涯初期应该读一本， 你会选择哪本书呢？我希望这个书单列表内容丰富，可以涵盖很多东西。” 很多程序员响应，他们在推荐时也写下自己的评语。 以前就有国内网友介绍这个程序员书单，不过都是
书生大模型第四期笔记:Prompt/RAG/XTuner微调/Agent/LMDeploy量化部署...
最新发布
m0_53632564的博客
11-07 1419
远程连接的好处就是，如果你使用的是远程办公，你可以通过SSH远程连接开发机，这样就可以在本地进行开发。是一种网络技术，它可以将外网中的任意端口映射到内网中的相应端口，实现内网与外网之间的通信。这条命令会通过开发机 SSH 通道将开发机内的 {开发机_PORT} 转发到您本地机器的 (本地机器_PORT}，这个过程可能会要求你输入 SSH 链接的密码。组成，为建立安全的 SSH 通道，双方需要先建立 TCP 连接，然后协商使用的版本号和各类算法，并生成相同的。，我们使用本地连接访问，解决这个代理问题。
深度学习笔记——常用的激活（激励）函数
m0_64482700的博客
06-13 2684
神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性直接传递到下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数。
11月深度学习班第3课CNN激励层(ReLU)
weixin_30321709的博客
10-31 220
转载于:https://www.cnblogs.com/koocn/p/7760124.html
深度学习《激励函数》你了解透了吗？
wuyouyin123的博客
04-16 373
为了说清楚问题，画了如下图帮助理解。 ================================================================ 如果lossFunction 是 mse，真值为z_true，loss = ( z_true - z ) ** 2 d(loss)/d(z) = 2(z - z_true) d(z)/d(y) = sigmoid’(z) d(y)...
数字逻辑期末复习
说好的
05-11 4274
输出函数：Z=F（X，y） 激励函数：Y=H（X，y） 某Mealy型电路状态表格式 处于状态B的时序逻辑电路，当输入x为1时，输出Z为0，在时钟脉冲的作用下，电路进入次态A。 （Z和Q、X有关） 只有在时钟信号到来电路才发生改变一次，否则即使输入发生变化，电路状态也不会改变。 ...
2021-01-04
wangqiyaya的博客
01-05 515
数字逻辑概览 （主要是按老师的重点和自己的笔记结合） 一、数字与编码 1、十进制，二进制 二，八，十，十六进制的转化 2、原码，反码，补码的表示及加减运算 原码就不多说了 反码（一的补） 补码（二的补） https://www.bilibili.com/read/cv1669932/ 一的补和二的补的解释，可以让你对反码和补码有更深的理解。 符号位为1时才反（一定要记住）反码和补码一样，不过补码要加个一 运算：原码符号位不参与计算，数值参与运算，符号相同直接相加 补码（最易实现，考的也多符号位参与运算，产生
深度学习中的激活函数（一）
qq_52302919的博客
03-21 1710
一、激活函数的意义： 先简单介绍一下什么是激活函数~ 单一神经元模型如下图所示： 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。 下面进入正题，激活函数存在的意义是什么呢，为什么不直接将神经元的输入输出直接进行连接呢？ 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况
被掰弯的线性函数，海王一样的logstic
u014120554的专栏
04-19 498
本文将要讲述的内容是多个机器学习方法推导的一些共通支出，虽涉及到算法的推导，但还是希望能尽量轻松愉快的讲解，并且能够帮助大家，将这几个算法的推导，更加系统化的理解。 本文主要将要讲到的几个机器学习的方法包括线性回归、logstic回归、XGBoost、Word2Vector以及深度学习等一系列方法的推导以及他们在推导中的共通之处。可能这里提到的内容，很多大神都有提到过，没有关系，可以再次温习一下。
【深度学习】常用的激活函数
小马日记
11-07 5382
一、什么是激活函数 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数） 1、Sigmoid函数 （1）数学公式 f(x)=11+ex\displaystyle f( x) =\frac...
VC6调用DLL函数傻瓜式教程
总结，调用.dll文件中的函数并不需要深入理解Windows编程或复杂的API。只需了解基本的C语言，根据上述步骤，无论是有.lib和.h文件的隐式链接，还是无.lib和.h文件的显式链接，都可以顺利实现DLL函数的调用。这个教程...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值