吴恩达深度学习--激活函数

最新推荐文章于 2025-03-25 18:17:44 发布
原创 最新推荐文章于 2025-03-25 18:17:44 发布 · 772 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#吴恩达 #深度学习 #激活函数

本文介绍了吴恩达深度学习课程中的四种激活函数：sigmoid、tanh、ReLU和Leaky ReLU。sigmoid常用于二元分类输出层，tanh通常优于sigmoid。ReLU是默认激活函数，因其加速学习速度。Leaky ReLU改进了ReLU在负区的问题。对比中，ReLU及其变体显示了更好的性能。

四种常用的激活函数

（1）sigmoid函数

这里写图片描述

  • 函数的表达式为：a=11+e−za=11+e−z
  • 导函数：
最低0.47元/天 解锁文章
吴恩达深度学习笔记(18)-神经网络激活函数讲解
Harpoon_fly的博客
12-03 703
激活函数（Activation functions） 使用一个神经网络时，需要决定使用哪种激活函数用隐藏层上，哪种用在输出节点上。 到目前为止，之前的笔记中只用过sigmoid激活函数，但是，有时其他的激活函数效果会更好。 Sigmoid和Tanh函数 在神经网路的前向传播中， a[1]=σ(z([1])和a[2]=σ(z1)这两步会使用到sigmoid函数。sigmoid函数在这里被称为激活函数...
深度学习中激活函数
竹馨shine的专栏
04-15 9561
本文主要参考博文： 1. http://blog.youkuaiyun.com/u014595019/article/details/52562159 2. https://zhuanlan.zhihu.com/p/22142013 激活函数的作用        神经网络中激活函数的主要作用是提供网络的非线性建模能力。假设一个神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便
吴恩达机器学习笔记十二 Sigmoid激活函数的替代方案 激活函数的选择 为什么要使用激活函数
XinxingZh的博客
01-28 841
Sigmoid激活函数的替代方案 激活函数的选择 为什么要用激活函数 最初常用的是sigmoid函数，使ReLU函数有两个原因：一是ReLU函数更简单，更快；在需求预测案例中，此时相比将awareness规定为0、1，不如考虑概率，认为它是一个0-1之间的数。如果神经网络的每个层都采用线性激活函数，最后的结果和线性回归是完全相同的，相当于一个单层神经网络，无法处理复杂的非线性问题。
吴恩达深度学习 —— 3.6 激活函数
然后就去远行
11-27 409
要搭建一个神经网络，可以选择的是选择隐层里用哪一个激活函数，还有神经网络的输出单元用什么激活函数。 到目前为止，我们一直用的是sigmoid激活函数，但有时候其它函数效果要好得多，我们看看一些可供选择的函数。 在神经网络的正向传播步骤中，有两步用了sigmoid函数，就是a=11+e−za = \frac{1}{1+e^{-z}}a=1+e−z1​。在更一般的情况下，我们可以使用不同的函数g(z)...
吴恩达深度学习学习笔记-3激活函数activation functions
qq_27560349的博客
06-22 287
1. sigmoid函数 现实中不建议使用sigmoid函数。 2. tanh函数（双曲正切函数） tanh函数更像是sigmoid函数平移后的结果。相比于sigmoid函数，tanh总是效果更好。因为tanh函数的值介于-1至1之间，平均值更接近0.使用tanh函数，也有类似与数据中心化的效果。 几乎所有的情况下，tanh都比sigmoid函数效果更好，只有一个例外，就是输出层。因为如果y是0或1，那么y_帽介于0到1之间更合理。所以，对于二分类问题，最后的输出层可以用sigmoid函数，隐藏层建议使用
精选资源
吴恩达-深度学习-课后作业-答案与总结
09-26
文件内容涵盖了深度学习的基础理论，如线性代数、概率论和信息论的基础知识，以及深度学习的核心算法，比如前向传播、反向传播、梯度下降、激活函数、损失函数、优化算法等。这些是构建深度学习模型不可或缺的基础...
精选资源
【深度学习-吴恩达】L1-2 神经网络基础 作业
07-29
在这个作业中，吴恩达教授可能会引导学生实现神经网络的基本结构，如线性层、激活函数（如Sigmoid、ReLU）、损失函数（如均方误差、交叉熵）以及优化器（如梯度下降、Adam）。学生可能还需要了解如何训练模型、评估...
吴恩达-深度学习-deeplearningai-28张图片总结及PDF
02-22
《吴恩达-深度学习-deeplearningai-28张图片总结及PDF》这个资源是吴恩达教授关于深度学习的精炼总结，旨在帮助学习者以直观易懂的方式理解这一复杂领域的核心概念。吴恩达教授是全球人工智能与机器学习领域的领军...
精选资源
【深度学习-吴恩达】L1-4 深层神经网络 作业
07-29
在本课程中，"【深度学习-吴恩达】L1-4 深层神经网络 作业"，我们将深入探讨深度学习的基础及其在实际应用中的实现。吴恩达是机器学习领域的知名专家，他在Coursera上的深度学习专项课程深受全球学员喜爱。这部分...
吴恩达神经网络和深度学习-学习笔记-2-激活函数
真理无穷，进一步有进一步的欢喜
07-13 603
sigmoid 除非在二元分类的输出层，否则千万不要用 吴老师几乎没用过，因为tanh几乎在所有场合都更优越 tanh 激活函数tanh()的效果几乎总比sigmoid函数好，因为tanh的输出位于[-1，1]之间，激活函数tanh的平均值就更接近0. 你可能需要平移所有数据，让数据平均值为0。使用tanh函数而不是sigmoid函数也有类似数据中心化的作用（使数据的平均值接近0）。而这实际上...
3.8 激活函数的导数-深度学习-Stanford吴恩达教授
赵继超的笔记
04-06 4925
神经网络的梯度下降法 (Gradient Descent for Neural Networks) 课程PPT
【深度学习】激活函数
milu_ELK的博客
02-16 723
新课P54介绍了强人工智能概念，P55到P58解读了矩阵乘法在代码中的应用，P59，P60介绍了在Tensflow中实现神经网络的代码及细节，详细的内容可以自行观看，专栏中就不再赘述。
深度学习——神经网络中的activation
杜咩咩的博客
05-02 8579
神经网络中有个词叫做 activation——激活函数现假设一神经网络N，其中w为权值参数，x为输入，b为偏置。神经网络中上层的信号  wx+b 在作为下层的输入 之前，需要 使用 激活函数激活。why？从两个角度解释A：如果不用激活函数（其实相当于激活函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层...
吴恩达神经网络和深度学习笔记（广播，激活函数）
qq_43337502的博客
08-15 8737
@[吴恩达神经网络和深度学习笔记] 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 吴恩达神经网络和深度学习笔记 广播 A.sum(axis = 0)中的参数axis。axis用来指明将要进行的运算是沿着哪个轴执行，在numpy中，0轴是垂直的，也就是列，而1轴是水平的，也就是行 reshape 使用数组的reshape方法，可以创建一个改变了尺寸的新数组，原数组的shape保持不变 定义矩阵X等于训练样本，将它们组合成矩阵的各列，形成一个n维或n乘以m维矩阵: 可以通过训练样本来进行
激活函数(Activation Functions)概述
steven的博客
04-04 1711
layout: post title: Activation Functions subtitle: 激活函数（activation functions）概述 date: 2019-04-03 author: steven gao header-img: img/activation_function_bg.jpg catalog: true ...
吴恩达deeplearning.ai:sigmoid函数的替代方案以及激活函数的选择
m0_75077001的博客
02-25 1373
假设一个只有一个隐藏层，一个最终输出层，且每层只有一个神经元，特征向量也仅仅含有一个特征，这估计是最最最简单的神经网络了，假设所有的激活函数仍然使用线性激活函数，那么计算过程如上，那么。但如果你正在解决一些回归相关问题，那么你可能会选择其它的激活函数，例如股票预测，就建议使用线性激活函数，因为你对于输出值的范围要求在负无穷到正无穷之间。具体来说，如果你正在处理Y为布尔值的问题，即二分类问题时，通常选择的就是sigmoid函数，原理在之前的章节中提到过，这也是非常自然的想法。而ReLU函数就没有这个问题。
吴恩达《机器学习》学习笔记（二）
snajdansa的博客
10-28 302
吴恩达机器学习个人笔记总结
Coursera | Andrew Ng (01-week-3-3.6)—激活函数
Self Improvement Lab
01-08 879
该系列仅在原课程基础上部分知识点添加个人学习笔记，或相关推导补充等。如有错误，还请批评指教。在学习了 Andrew Ng 课程的基础上，为了更方便的查阅复习，将其整理成文字。因本人一直在学习英语，所以该系列以英文为主，同时也建议读者以英文为主，中文辅助，以便后期进阶时，为学习相关领域的学术论文做铺垫。- ZJ Coursera 课程 |deeplearning.ai |网易云课堂
【吴恩达系列-5】activation（激活函数）
最新发布
2301_76723906的博客
03-25 217
在生物学领域又叫S形生长曲线，所以是S形，并且中心对称在(0,0.5)，y在(0,1)之间。那么一般我们在深度学习中每一层选用什么激活函数呢？e的某一xi次除以e的所有xi次之和，很显而易见。就是左边y恒等于0，右边是linear，，因为 z=wx+b 令 z=0 去画。，因为ReLU可以使神经网络学习更快。正好是0.5的分界线，非0即1。
吴恩达深度学习课程L1-3作业解析
资源摘要信息:"深度学习-吴恩达L1-3 浅层神经网络 作业" 在吴恩达教授的深度学习课程中，浅层神经网络是机器学习中一个基础且重要的概念。本作业主要涉及浅层神经网络的实现与应用，以及相关的编程实践。 首先，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值