深度学习(十二)——梯度和激活函数

最新推荐文章于 2024-11-21 11:00:00 发布
最新推荐文章于 2024-11-21 11:00:00 发布
阅读量387 收藏
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43633568/article/details/104564646
版权
本文探讨了深度学习中的梯度概念，包括导数、偏导数和梯度向量的性质，强调梯度在寻找极小值中的作用。同时，提到了梯度下降过程中的局部极小值和鞍点问题，以及学习率的影响。此外，还提及了激活函数及其梯度的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

梯度

导数：函数的变化量，方向指定，标量
偏导数:对某一变量的倒数，方向是自变量的方向
倒三角就是偏微分
梯度是一个向量，每一个量是对应轴的偏微分，不是标量

  • 梯度的长度反应变化的趋势，即增长速率，长越大，越陡，表示变的越快
  • 梯度的方向：增长的方向
    在这里插入图片描述
    梯度：找极小值
    在这里插入图片描述
    搜索过程的影响因素：
  • 局部极小值，ResNet解决了
  • 鞍点：对于x轴是极小值，对于y轴是极大值
  • 初始状态
  • learningRate，设置小一点
常见函数梯度

很多笔误在里面…
在这里插入图片描述

激活函数及其梯度

最低0.47元/天 解锁文章
PyTorch深度学习实战（4）——常用激活函数和损失函数详解
盼小辉丶的博客
06-23 7504
激活函数和损失函数是深度学习模型中重要组成部分，激活函数和损失函数的选择很大程度上决定了深度神经网络的性能和精度，需要根据具体问题的特点和数据分布等因素进行选择。在本节中，将介绍深度学习中常见的激活函数和损失函数，并说明不同函数的常见应用场景。
Keras深度学习实战——深度学习中常用激活函数和损失函数详解
走向CTO的路上...
05-22 1358
本教程将介绍 Keras 深度学习框架中常用的激活函数和损失函数。激活函数用于引入非线性特性，使得神经网络能够更好地学习和模拟复杂的输入输出关系；损失函数用于度量模型预测结果与真实值之间的差异，选择合适的损失函数对于模型的训练至关重要。Keras 深度学习框架提供了简单易用的工具来选择和使用激活函数和损失函数，这使得深度学习技术可以更加广泛地应用。
14.激活函数及其梯度
weixin_44033183的博客
10-10 1885
激活函数及其梯度 阈值函数：神经元机制不是简单的各个输入的加权求和，它存在阈值响应机制，只有在阈值大于某个值是它才会输出，而且输出的电压值是固定的 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数...
梯度与激活函数
milk_and_bread的博客
08-24 1390
梯度 初始化的影响 同样的网络，同样的参数，初始化不同，梯度下降的速度不同，得到最小值也不同，如上图。 学习率的影响 学习率影响收敛的速度，初始情况下可以设置的大一些，不收敛在设置的小一些。 动量 梯度下降的时候，可能到达局部最优的情况，这时候给一个动量，用惯性冲出局部最优的情况。 常见公式求解梯度 激活函数 derivative 激活函数特点：在z=0z = 0z=0处不可导 Sigmoid Logistic 特点：将zzz从(−∞(- \infty(−∞,∞), \infty),∞)拉回到
激活函数及其梯度
02-02 1989
激活函数及其梯度
激活函数和Loss的梯度
hwblittlebird的博客
06-20 239
激活函数及其梯度 1.1Sigmoid函数及图像 1.2Sigmoid导数 1.3Sigmoid使用 2.1Tanh函数及图像 2.2Tanh导数 2.3Tanh使用 3.1ReLU函数及图像 3.2ReLU导数 3.3ReLU使用 Loss及其梯度 1.1MSE（Mean Squared Error） 1.2MSE导数 ...
养病中，介绍一下梯度和激活函数
Canon__的博客
12-12 622
养病中，不想继续写新东西了，先把之前一直想写但是没写的东西写一下。   谈梯度之前我们先谈谈方向导数： 其中 以上函数我们可以改写成向量的模式: 向量为单位向量   其中  则被称为梯度。用倒三角(del)表示或grad f 梯度的方向沿着函数值增长最快的方向。所以梯度下降则是沿着负梯度方向前进的。   激活函数： Relu: 我们常用的激活函数有Relu,Sigmoi...
深度学习pytorch——激活函数&损失函数（持续更新）
2201_76139143的博客
03-22 2561
论生物神经元与神经网络中的神经元联系——为什么使用激活函数？我们将生物体中的神经元与神经网络中的神经元共同分析。从下图可以看出神经网络中的神经元与生物体中的神经元有很多相似之处，由于只有刺激达到一定的程度人体才可以感受到刺激，并且人体对刺激做出的响应是有限的，所以在输出之前应该经过激活函数。这个激活函数可以将原来发散的数据变成收敛的数据。什么是梯度？函数在某一点的梯度是这样一个向量，它的方向与的方向一致，而它的模为方向。
深度学习笔记——优化算法、激活函数
最新发布
haopinglianlian的博客
11-21 2038
本笔记介绍深度学习中常见的优化算法、激活函数。
深度学习 - 激活函数、梯度问题 and 损失函数
GoWeiXH的小天地
04-01 1246
激活函数 函数、导数 and 优劣 Sigmoid Tanh (双曲正切) ReLU (Rectified Linear Unit，修正线性单元) LReLU (Leaky ReLU) ELU（指数线性单元） Maxout 梯度消失与梯度饱和 梯度消失 梯度饱和 反向传播 平方差损失 and 交叉熵损失 平方差损失 交叉熵损失
sigmoid函数
02-05
sigmoid函数 柔性神经网络采用了柔性的sigmoid函数
梯度的概念+激活函数及其梯度+loss（均方差）及其梯度+交叉熵+多分类实例+全连接网络实例+感知机及其梯度+链式反则+反向传播+l逻辑回归
weixin_51589123的博客
06-04 2193
文章目录一、梯度1、什么是梯度？梯度——把所有的偏微分看做向量容易出现的问题优化梯度下降法来找到全局最优解的因素2、常见函数的梯度二、激活函数及其梯度sigmoid函数Tanh函数，在RNN里用得比较多Relu是使用最多的激活函数softmax三、loss及其梯度（1）均方差（2）Cross Entropy Loss多分类问题：利用minst数据实现多分类全连接网络的实现四、感知机的梯度推导感知机单输出感知机多输出五、链式法则六、反向传播七、2D函数优化实例八、逻辑回归线性回归和逻辑归回/分类问题的区别：1
系列之7-激活函数
weixin_34270606的博客
11-15 302
全套教程请点击：微软 AI 开发教程 在这一章，我们将简要介绍一下激活函数和损失函数~ 激活函数 看神经网络中的一个神经元，为了简化，假设该神经元接受三个输入，分别为\(x_1, x_2, x_3\),那么\(z=\sum\limits_{i}w_ix_i+b_i\), 激活函数也就是\(A=\sigma(Z)\)这一步了，他有什么作用呢？ 从模仿人类大脑的角度来说： 神经元在利用突触传递信...
激活函数与Loss的梯度
陈子青的博客
03-06 739
因为：z0时，梯度是1。因为在向后传播时候，因为梯度是1，所以对于搜索最优解，梯度计算时候非常方便，也不会被放大和缩小，很难出现梯度弥散和梯度爆炸的情况。b）sigmoid的缺点：因为sigmoid函数在处于+∞和-∞时候，导数趋近于0，会使得数据处于更新非常缓慢（长时间loss保持不变的情况），即：梯度弥散问题。函数的自变量的方向，函数的自变量越多，偏微分就越多。有的快，有的准确率高。2）所有概率之和等于1。不断更新自变量，当偏导（梯度）趋近于0的时候，函数值也就趋近于极小值。
常见激活函数总结
m0_66890670的博客
10-07 2593
本文介绍了常见的激活函数，包括Sigmoid 函数，Tanh 函数，ReLU (Rectified Linear Unit)、Leaky ReLU、Parametric ReLU (PReLU)、Softmax 函数、Swish 函数、GELU (Gaussian Error Linear Unit)的详细定义，优缺点，python代码，并进行了对比分析
机器学习中倒三角符号_机器学习的三角误差
weixin_26752765的博客
09-05 1459
机器学习中倒三角符号By David Weinberger 大卫·温伯格(David Weinberger) AI Outside In is a column by PAIR’s writer-in-residence, David Weinberger, who offers his outsider perspective on key ideas in machine learning....
深度学习中的激活函数与梯度消失
weixin_34397291的博客
05-27 272
转载请注明出处：http://www.cnblogs.com/willnote/p/6912798.html 前言 深度学习的基本原理是基于人工神经网络，信号从一个神经元进入，经过非线性的激活函数，传入到下一层神经元；再经过该层神经元的激活，继续往下传递，如此循环往复，直到输出层。正是由于这些非线性函数的反复叠加，才使得神经网络有足够的能力来抓取复杂的模式，在各个领域取得不俗的表现。显而易见，激...
Sigmoid作为激活函数导致的梯度消失问题
热门推荐
feizxiang3的专栏
09-24 1万+
首先，问题描述： 当很多个使用sigmoid的Layers 加到神经网络中时，损失函数的梯度会接近0，这会导致 network难以训练。因为我们使用梯度乘以学习率来更新权值参数的。 那么为什么呢？ 向sigmoid这样的激活函数，它把输入从一个大的空间压缩到一个只有0到1的范围内的很小的空间，作为下一层的输入。因此在输入层一个大的改变，通过sigmoid，最终到输出只有一个小的改变，也就是说导数变...
【腾讯模考】题目解答
鸟恋旧林的博客
08-30 595
1. 特征向量与特征值定义：设 AA 为 nn 阶矩阵，如果数 λ\lambda 和 nn 维非零列向量 xx 使得关系式Ax=λxAx=\lambda x 成立，则称这样的数 λ\lambda 为矩阵A的特征值，非零向量 xx 称为A的对应于特征值 λ\lambda 的特征向量。上式也可写成：(A−λE)x=0(A-\lambda E )\,x=0这是n个未知数，n个方程的齐次线性方程组，有非零
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值