激活函数和Loss的梯度

最新推荐文章于 2024-12-14 12:24:12 发布
原创 最新推荐文章于 2024-12-14 12:24:12 发布 · 259 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

激活函数及其梯度

1.1Sigmoid函数及图像

在这里插入图片描述

1.2Sigmoid导数

在这里插入图片描述

1.3Sigmoid使用

在这里插入图片描述

2.1Tanh函数及图像

在这里插入图片描述

2.2Tanh导数

在这里插入图片描述

2.3Tanh使用

在这里插入图片描述

3.1ReLU函数及图像

在这里插入图片描述

3.2ReLU导数

在这里插入图片描述

3.3ReLU使用

在这里插入图片描述

Loss及其梯度

1.1MSE（Mean Squared Error）

在这里插入图片描述

1.2MSE导数

在这里插入图片描述

梯度的概念+激活函数及其梯度+loss（均方差）及其梯度+交叉熵+多分类实例+全连接网络实例+感知机及其梯度+链式反则+反向传播+l逻辑回归
weixin_51589123的博客
06-04 2248
文章目录一、梯度1、什么是梯度？梯度——把所有的偏微分看做向量容易出现的问题优化梯度下降法来找到全局最优解的因素2、常见函数的梯度二、激活函数及其梯度sigmoid函数Tanh函数，在RNN里用得比较多Relu是使用最多的激活函数softmax三、loss及其梯度（1）均方差（2）Cross Entropy Loss多分类问题：利用minst数据实现多分类全连接网络的实现四、感知机的梯度推导感知机单输出感知机多输出五、链式法则六、反向传播七、2D函数优化实例八、逻辑回归线性回归和逻辑归回/分类问题的区别：1
【深度学习】loss与梯度与交叉熵的关系
littlemichelle
12-11 5089
问的GPT3.5。
大白话深度学习基础1-梯度&loss&交叉熵&激活函数
weixin_64519687的博客
05-26 1398
① 梯度就是所有参数的偏导向量② 黑色线段为该时刻的梯度在平面的投射③ 视频中运用了三个例子说明，分别在三个不同方向运动1的距离，观察函数变化首先是-1,0方向其次是1，0方向最后是梯度方向，即2,2方向三、梯度求解万能方程因为每进行完一次模型loss求解，如果还没下降到最小，就还要进行梯度下降，即参数更替，而模型中都是矩阵乘法，怎么求这些矩阵的导数并且进行参数更替呢呢？五星级重要☆☆☆☆☆即对任意的矩阵A @ 矩阵B + 矩阵b =矩阵Cdetal_w。
激活函数与Loss的梯度
陈子青的博客
03-06 807
因为：z0时，梯度是1。因为在向后传播时候，因为梯度是1，所以对于搜索最优解，梯度计算时候非常方便，也不会被放大和缩小，很难出现梯度弥散和梯度爆炸的情况。b）sigmoid的缺点：因为sigmoid函数在处于+∞和-∞时候，导数趋近于0，会使得数据处于更新非常缓慢（长时间loss保持不变的情况），即：梯度弥散问题。函数的自变量的方向，函数的自变量越多，偏微分就越多。有的快，有的准确率高。2）所有概率之和等于1。不断更新自变量，当偏导（梯度）趋近于0的时候，函数值也就趋近于极小值。
激活函数及其梯度
02-02 2118
激活函数及其梯度
（四）激活函数与loss梯度
我心飞扬
01-29 1200
（四）激活函数与loss梯度 激活函数 科学家对于青蛙的神经元的研究，发现青蛙的神经元有多个输入，中间是一个对输入加权的响应，但是这个响应不是线性的输出，而是基于一个阈值来作为标准，当响应值大于阈值时才会输出，而且输出的大小是固定的。这个计算的函数就是阶梯函数。 上图就是基于青蛙的神经元发明的一个计算机上的模型。它的输入是x1,...,xnx_1,...,x_nx1​,...,xn​，然后经过加权求和，但并不是直接输出，而是经过一个阶梯函数后输出。这里就可以比较好的解释激活函数激活的意思，如果计算的结
lesson18-激活函数与Loss的梯度.zip
08-29
深度学习与PyTorch入门实战视频教程 配套源代码和PPT深度学习与PyTorch入门实战视频教程 配套源代码和PPT深度学习与PyTorch入门实战视频教程 配套源代码和PPT深度学习与PyTorch入门实战视频教程 配套源代码和PPT深度...
【AI知识】激活函数介绍（sigmoid & Tanh & Relu）+ 梯度爆炸 / 消失及解决办法
想买很多漂亮衣服但是买不起的博客
12-14 1067
【AI知识】激活函数介绍（sigmoid & Tanh & Relu）+ 梯度爆炸 / 消失介绍
梯度与激活函数
milk_and_bread的博客
08-24 1424
梯度 初始化的影响 同样的网络，同样的参数，初始化不同，梯度下降的速度不同，得到最小值也不同，如上图。 学习率的影响 学习率影响收敛的速度，初始情况下可以设置的大一些，不收敛在设置的小一些。 动量 梯度下降的时候，可能到达局部最优的情况，这时候给一个动量，用惯性冲出局部最优的情况。 常见公式求解梯度 激活函数 derivative 激活函数特点：在z=0z = 0z=0处不可导 Sigmoid Logistic 特点：将zzz从(−∞(- \infty(−∞,∞), \infty),∞)拉回到
14.激活函数及其梯度
weixin_44033183的博客
10-10 1948
激活函数及其梯度 阈值函数：神经元机制不是简单的各个输入的加权求和，它存在阈值响应机制，只有在阈值大于某个值是它才会输出，而且输出的电压值是固定的 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数...
深度学习(十二)——梯度和激活函数
weixin_43633568的博客
02-28 414
梯度 导数：函数的变化量，方向指定，标量 偏导数:对某一变量的倒数，方向是自变量的方向 倒三角就是偏微分 梯度是一个向量，每一个量是对应轴的偏微分，不是标量 梯度的长度反应变化的趋势，即增长速率，长越大，越陡，表示变的越快 梯度的方向：增长的方向 梯度：找极小值 搜索过程的影响因素： 局部极小值，ResNet解决了 鞍点：对于x轴是极小值，对于y轴是极大值 初始状态 learningRate...
养病中，介绍一下梯度和激活函数
Canon__的博客
12-12 662
养病中，不想继续写新东西了，先把之前一直想写但是没写的东西写一下。   谈梯度之前我们先谈谈方向导数： 其中 以上函数我们可以改写成向量的模式: 向量为单位向量   其中  则被称为梯度。用倒三角(del)表示或grad f 梯度的方向沿着函数值增长最快的方向。所以梯度下降则是沿着负梯度方向前进的。   激活函数： Relu: 我们常用的激活函数有Relu,Sigmoi...
深度学习（二）-损失函数+梯度下降
weixin_40198632的博客
09-02 2170
损失函数（Loss Function），也有称之为代价函数（Cost Function），用来度量预测值和实际值之间的差异。损失函数的作用度量决策函数f（x）和实际值之间的差异。作为模型性能参考。损失函数值越小，说明预测输出和实际结果（也称期望 输出）之间的差值就越小，也就说明我们构建的模型越好。学习的过程，就 是不断通过训练数据进行预测，不断调整预测输出与实际输出差异，使的损失值最小的过程。
深度学习基础--loss与激活函数--triplet loss
wydbyxr的博客
11-16 414
triplet loss   triplet是一个三元组，这个三元组是这样构成的：从训练数据集中随机选一个样本，该样本称为Anchor，然后再随机选取一个和Anchor (记为x_a)属于同一类的样本和不同类的样本,这两个样本对应的称为Positive (记为x_p)和Negative (记为x_n)，由此构成一个（Anchor，Positive，Negative）三元组。   triplet l...
【Pytorch】激活函数与loss的梯度
宫瑞阳的博客
03-02 541
神经元模型 激活函数 loss函数 loss梯度
深度学习基础--loss与激活函数--广义线性模型与各种各样的激活函数(配图)
wydbyxr的博客
11-19 424
广义线性模型是怎被应用在深度学习中?   深度学习从统计学角度，可以看做递归的广义线性模型。广义线性模型相对于经典的线性模型(y=wx+b)，核心在于引入了连接函数g(.)，形式变为：y=g(wx+b)。   深度学习时递归的广义线性模型，神经元的激活函数，即为广义线性模型的链接函数。逻辑回归（广义线性模型的一种）的Logistic函数即为神经元激活函数中的Sigmoid函数，很多类似的方法在统计...
深度学习 | 【03】梯度下降法
weixin_45926547的博客
05-15 1056
文章目录梯度下降和方向传播1、 什么是梯度2、 偏导的计算2.1 常见的导数计算2.2 多元函数求偏导3、方向传播算法3.1 计算图和反向传播4、神经网络中的方向传播4.1 神经网络的示意图4.2 神经网络的计算图5、pytorch中实现5.1 向前计算5.2 梯度计算线性回归实现 梯度下降和方向传播 1、 什么是梯度 是一个向量，导数+变化最快的方向(学习的前进方向)即多元函数参数的变化趋势。 机器学习 收集数据x，构建机器学习模型f，得到 f(x, w) = 预测值 判断模型好坏的方法： los
常见激活函数总结
m0_66890670的博客
10-07 3089
本文介绍了常见的激活函数，包括Sigmoid 函数，Tanh 函数，ReLU (Rectified Linear Unit)、Leaky ReLU、Parametric ReLU (PReLU)、Softmax 函数、Swish 函数、GELU (Gaussian Error Linear Unit)的详细定义，优缺点，python代码，并进行了对比分析
自适应激活函数pinn梯度为零
最新发布
03-18
### 自适应激活函数在PINN中的梯度消失解决方案 自适应激活函数在内嵌物理知识神经网络（PINN）中可能导致梯度为零的问题，这通常源于激活函数的选择及其参数化方式。以下是针对该问题的详细分析和可能的解决方案。 #### 1. 激活函数的设计与梯度消失的关系 传统的固定激活函数（如ReLU、Sigmoid等）可能存在饱和区域，在这些区域内导数接近于零，从而导致反向传播过程中梯度逐渐减小甚至完全消失[^1]。对于自适应激活函数而言，如果其可调参数未能有效更新或者陷入局部最优，则同样会引发类似的梯度消失现象。 为了缓解这一情况，可以考虑以下几种策略： #### 2. 使用更稳定的优化器 尽管标准随机梯度下降(SGD)能够完成模型训练任务，但在处理复杂非线性映射时表现欠佳。引入带有动量(Momentum)[^2]或其他高级变体(Adam, RMSprop等)，有助于加速收敛并减少震荡效应带来的负面影响。例如 Adam 通过维护指数移动平均估计来调整每一轮迭代的学习率，使得即使面对稀疏数据也能保持良好的性能。 ```python import torch.optim as optim optimizer = optim.Adam(model.parameters(), lr=0.001) ``` #### 3. 改进初始化技术 恰当设置权重初值范围至关重要，它直接影响到前几轮epoch期间信号能否顺利传递至深层结构而不被抑制或放大过多倍数以至于溢出。Xavier 和 He 初始化方法分别适用于tanh类及ReLU 类型节点层面上较好地平衡了输入输出范数值之间的关系，防止因极端分布造成的信息丢失风险增加。 ```python def init_weights(m): if isinstance(m, nn.Linear): torch.nn.init.xavier_uniform_(m.weight) model.apply(init_weights) ``` #### 4. 设计新型自适应激活单元 除了简单乘加操作外还可以探索更多形式灵活多样的表达式组合而成的新颖组件作为候选对象替代传统单一模式版本；比如Softplus 函数既具备平滑过渡特性又能避免硬截断弊端因此成为不错选项之一另外还有Swish 这种由Google 提出来的自我门控机制也显示出优异潜力值得尝试应用其中一部分场景下取得超越常规做法的效果提升幅度明显可见一斑[^3]. ```python class AdaptiveActivation(nn.Module): def __init__(self, dim): super().__init__() self.alpha = nn.Parameter(torch.ones(dim)) def forward(self,x): return F.softplus(self.alpha*x) act_layer = AdaptiveActivation(input_dim) output = act_layer(tensor_input) ``` #### 5. 正则化手段辅助稳定训练过程 适当加入L1/L2 范数惩罚项控制整体规模不至于过大偏离正常轨迹之外还能促进泛化能力增强抵抗过拟合倾向发生概率降低最终达到双赢局面同时也有助于维持健康状态下的梯度流动路径畅通无阻塞状况出现几率大大减少. ```python lambda_reg = 0.01 l2_loss = sum(p.pow(2).sum() for p in model.parameters()) loss_total = loss_main + lambda_reg*l2_loss ``` --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值