逻辑回归之sigmoid/tanh/relu激活函数

最新推荐文章于 2025-07-19 22:58:27 发布
最新推荐文章于 2025-07-19 22:58:27 发布
阅读量1.1w 收藏 15
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 深度学习之点滴
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/legalhighhigh/article/details/81367638
本文介绍了逻辑回归中常用的激活函数，包括sigmoid、tanh和relu。sigmoid函数将输出限制在0到1之间，tanh函数则在-1到1之间，而relu函数则在输入为正时线性增长，为负时输出为0。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

逻辑回归，就是在线性回归的基础上加入了激活函数。
常见的激活函数有：

  • 1、sigmoid函数
  • 2、tanh函数
  • 3、relu函数
sigmoid函数

sigmoid就是一个将输出映射到[0,1]之间的函数了。函数公式

y=11+e−zy=11+e−z
图像：
这里写图片描述
和之前计算梯度一样，我们需要的是计算loss对各个w和b的偏导数就可以了。原线性函数：
z=ωTx+bz=ωTx+b

加入激活函数后的loss:
loss=∑i=1n(yi−y^)2=∑i=12(ωTxi+b−
最低0.47元/天 解锁文章

200万优质内容无限畅学
深度学习中的Relu和Sigmoid/tanh区别
zhouzongzong的博客
03-16 3126
ReLU 大于0则原样输出，小于0，截断 Sigmoid函数 ReLU相比于Sigmoid几乎是碾压的，如果能用ReLU且能用Sigmoid直接ReLU 效果上： 1.sigmoid函数反向传播时，很容易就会出现梯度消失的情况（在sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失，从而无法完成深层网络的训练；而ReLU就不会 2.Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性(对于特征选取更好)，并且减少了参数的相互依存关系，缓解了过拟合问题的发生 性能上： 采用
常用激活函数：Sigmoid/Softmax/ELU/ReLU/LeakyReLU/Tanh...（Pytorch）
NorthSmile的博客
08-29 5041
1）公式定义及图示该函数输入为任意形状，输出与输入保持一致，此操作是将所有元素映射到(0,1)范围内，推导如下：2）调用方式1）公式定义公式理解：分母为输入向量中的所有元素按照指数方式求和，然后将输入中的每个元素按照指数方式除以分母得到计算结果。2）调用方式该函数输入/输出为n维向量，目的是将其输入重新缩放，使其所有元素皆属于[0,1]，并且此时所有元素总和为1。...
ReLu(Rectified Linear Units)激活函数
weixin_34167043的博客
04-24 2082
论文参考：Deep Sparse Rectifier Neural Networks (很有趣的一篇paper） 起源：传统激活函数、脑神经元激活频率研究、稀疏激活性 传统Sigmoid系激活函数 传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。 从数学上来看，非线性的Sigmoid函数对中央区...
逻辑回归、激活函数sigmoid、损失及优化、案例代码实现
我的个人博客
12-23 2839
逻辑回归概念及原理，激活函数sigmoid函数，损失以及优化，逻辑回归API，sklearn.linear_model.LogisticRegression，良／恶性乳腺癌肿瘤分类预测案例代码实现
激活函数是什么？常用的激活函数：ReLU函数、sigmoid函数和tanh函数
wh1236666的博客
07-12 779
第一个图展示 Sigmoid 函数本身的非线性特性（将输入映射到 (0,1) 区间）；第二个图展示 Sigmoid 导数的分布特性（中间大、两边小，易导致梯度消失）。
激活函数——tanh函数（理解）
weixin_34009794的博客
10-25 4523
0 - 定义 　　$tanh$是双曲函数中的一个，$tanh()$为双曲正切。在数学中，双曲正切“$tanh$”是由基本双曲函数双曲正弦和双曲余弦推导而来。 $$tanhx=\frac{sinhx}{coshx}=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$ 　　其曲线如下图所示： 　　　　　　　　 1 - 导数 $$\begin{align*}tanh^{'}(x)...
ReLU激活函数：简单之美
热门推荐
对半独白
11-13 15万+
导语在深度神经网络中，通常使用一种叫修正线性单元(Rectified linear unit，ReLU）作为神经元的激活函数。
matlab用relu函数优化逻辑回归_机器学习之Logistic回归
weixin_39781186的博客
11-28 413
7.1 分类问题本节内容：什么是分类之前的章节介绍的都是回归问题，接下来是分类问题。所谓的分类问题是指输出变量为有限个离散值，比如正确或错误、0或1、是或否等等。我们将首先从二元分类问题开始讨论，可将分类总结成 y ∈ { 0 , 1 }，，其中 0 表示负向类，1 表示正向类。Logistic回归与线性回归有一个主要的区别，在线性回归中，ℎ()的值可以小于0，也可以大于1；而在Logistic回...
【深度学习】—激活函数、ReLU 函数、 Sigmoid 函数、Tanh 函数
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
10-05 2263
我们已经了解了如何使用非线性激活函数（如 ReLU、sigmoid 和 tanh）来构建具有更强表达能力的多层神经网络。值得一提的是，如今借助开源的深度学习框架，只需几行代码即可快速构建模型，而在 20 世纪 90 年代，训练这些网络可能需要数千行 C 或 Fortran 代码。
【人工智能之深度学习】2. 激活函数全解：Sigmoid/Tanh/ReLU的梯度消亡陷阱与优化策略（附PyTorch实验代码）
最新发布
专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域，希望和大家共同进步！
07-19 1573
摘要：激活函数是神经网络实现非线性映射的核心组件，其性能直接影响模型收敛速度与泛化能力。本文系统剖析三类经典激活函数的数学特性与工程缺陷：通过严格推导Sigmoid函数梯度表达式（σ’(x)=σ(x)(1−σ(x))≤0.25），揭示多层网络中梯度经链式法则传播后指数级衰减的本质（∏σ’(zₖ)wₖ→0）；分析Tanh函数梯度范围局限与ReLU神经元死亡问题。
激活函数Tanh
August-us的博客
03-18 10万+
激活函数Tanh系列文章：   Tanh的诞生比Sigmoid晚一些，sigmoid函数我们提到过有一个缺点就是输出不以0为中心，使得收敛变慢的问题。而Tanh则就是解决了这个问题。Tanh就是双曲正切函数。等于双曲余弦除双曲正弦。函数表达式和图像见下图。这个函数是一个奇函数。   对tanh函数求导需要一定的数学基础，这里直接给出结果。tanh′(x)=1−tanh2(x)tanh'(x)=...
tanh激活函数
zrh_优快云的博客
07-31 1万+
tanh激活函数                         tanh也是一种非常常见的激活函数。与sigmoid相比，它的输出均值是0，使得其收敛速度要比sigmoid快，减少迭代次数。 然而，从图中可以看出，tanh和sigmoid一样具有软饱和性，从而造成梯度消失。 ...
深度学习之激活函数——Tanh
m0_61787307的博客
05-14 6514
双曲正切1函数(tanh)，其图像与sigmoid函数十分相近，相当于sigmoid函数的放大版。在实际的使用中，tanh函数要优先于sigmoid函数。
深度学习基础之-4.1非线性回归-激活函数
Susan Wong
05-18 6411
非线性回归 当神经网络不是一层的时候，就需要对每一层的输出加一个激活函数，将输出进行非线性的映射，否则不论网络有多少层，线性的变换永远可以视为一次线性的变换，不能解决复杂问题 激活函数 看神经网络中的一个神经元，为了简化，假设该神经元接受三个输入，分别为x1,x2,x3x_1, x_2, x_3x1​,x2​,x3​,那么z=∑iwixi+biz=\sum\limits_{i}w_ix_i+b_i...
机器学习之逻辑回归（一）：逻辑回归的原理、模型、激活函数的使用、损失函数、优化方法（附手写案例）
汪雯琦的博客
02-27 4138
逻辑回归需要掌握的知识点 知道逻辑回归的损失函数 知道逻辑回归的优化方法 知道sigmoid函数 知道逻辑回归的应用场景 应用LogisticRegression实现逻辑回归预测 知道精确率、召回率指标的区别 知道如何解决样本不均衡情况下的评估 了解ROC曲线的意义说明AUC指标大小 应用classification_report实现精确率、召回率计算 应用roc_auc_score实现指标计...
激活函数(sigmoid、tanh、ReLU、softmax)
tcn760的博客
04-07 10万+
文章目录1.1、sigmoid函数1.2、tanh函数1.3、ReLU函数1.4、softmax函数 激活函数在神经网络中的作用有很多，主要作用是给神经网络提供非线性建模能力。如果没有激活函数，那么再多层的神经网络也只能处理线性可分问题。常用的激活函数有sigmoid、tanh、relu、softmax等。 1.1、sigmoid函数 sigmoid函数将输入变换为(0,1)上的输出。它将范围(-inf,inf)中的任意输入压缩到区间(0,1)中的某个值： sigmoid(x)=11+exp(−x)sigm
逻辑回归(神经网络Sigmod激活函数，计量logit模型)
qq_43602667的博客
11-05 2117
逻辑回归、激活函数、计量经济学 ROC曲线表示真阳性与假阳性关系图，AUC取值在0~1之间,这里为0.9，综合说明模型泛化性能还是比较好的
ReLU 激活函数
danger2的博客
10-25 4515
相对于某些传统的激活函数（如Sigmoid或Tanh），ReLU有助于缓解梯度消失问题，因为它的梯度在正区间为1，这有助于更好地传播梯度。小于等于零时，输出为零。这意味着只有大于零的输入才会有非零输出，因此它在激活神经元时具有一定的稀疏性，有助于减少神经元的共同激活。：ReLU是一种非线性激活函数，能够引入非线性因素到神经网络中，使其能够学习和表示更复杂的函数。：ReLU激活函数非常简单，计算高效，因为它只涉及一个简单的阈值比较和最大值操作。大于零时，ReLU的输出是。
matlab绘制激活函数sigmoid tanh，RELU LEAKYRELU
04-01
<think>好的，我现在需要帮助用户在MATLAB中绘制sigmoid、tanh、ReLU和LeakyReLU激活函数的图像。首先，我得回忆一下这些激活函数的数学表达式，然后考虑如何在MATLAB中实现它们。 首先，用户提到了四个激活函数：sigmoid、tanh、ReLU和LeakyReLU。我需要逐一确认每个函数的定义。比如，sigmoid函数通常是$f(x) = \frac{1}{1 + e^{-x}}$，tanh是双曲正切函数，表达式为$f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$，或者也可以用双曲函数库里的函数。ReLU比较简单，就是$f(x) = \max(0, x)$，而LeakyReLU则是当x小于0时，乘以一个小的斜率，比如0.01，所以表达式是$f(x) = \begin{cases} x & \text{if } x \geq 0 \\ 0.01x & \text{otherwise} \end{cases}$。 接下来，考虑如何在MATLAB中实现这些函数。对于sigmoid，可能需要用元素级运算，比如用exp函数计算指数。同样，tanh在MATLAB中可能有内置函数，但为了准确起见，可能需要手动实现或者调用正确的函数。ReLU和LeakyReLU可以用条件判断，或者更高效的方式，比如逐元素比较。 然后，关于绘图部分。用户希望将这四个函数绘制出来。在MATLAB中，通常需要生成一个x值的向量，然后计算对应的y值，再使用plot函数绘制。可能需要设置不同的颜色和线条样式来区分各个激活函数。同时，添加网格、标签、标题和图例也是必要的步骤，以便图像更清晰。 需要注意的几点：首先，生成x的范围，比如从-5到5，步长0.1，这样可以覆盖函数的典型变化区域。其次，处理每个函数时，确保数组运算正确，避免维度错误。例如，sigmoid函数中的指数运算应该是对每个元素进行操作，而不是矩阵运算。可能需要使用点运算符（如.*和.^）来确保按元素计算。 对于LeakyReLU，可能需要使用逻辑索引来处理x中大于等于0和小于0的部分。例如，在MATLAB中，可以这样实现：y = x .* (x >= 0) + 0.01 * x .* (x < 0)。或者使用max函数结合不同的条件。 另外，用户提到在Python中使用detach()来切断计算图，但在MATLAB中不需要处理张量计算图的问题，因为MATLAB主要用于数值计算而不是深度学习框架中的自动微分。因此，这部分可以忽略，直接处理普通的数值数组即可。 接下来，需要整合这些步骤到一个MATLAB脚本中。可能需要分几个子图，或者在同一图中用不同颜色绘制，但考虑到四个函数放在同一图中可能比较拥挤，所以分四个子图更合适，每个子图显示一个函数。 然后，检查代码的正确性。例如，sigmoid函数是否计算正确，tanh是否有内置函数或者是否需要手动实现。在MATLAB中，tanh函数是内置的，可以直接使用。ReLU可以用max函数，LeakyReLU可能需要逻辑索引。 最后，确保图像的展示效果良好，包括坐标轴标签、标题、图例、网格线等。可能需要使用hold on来在同一图中绘制多个函数，但如果是分四个子图的话，每个子图独立显示一个函数更清晰。 现在，我需要将上述思考转化为具体的MATLAB代码步骤，并确保每个激活函数的正确性，以及绘图的正确设置。同时，需要按照用户的要求，使用中文回答，并生成相关问题。最后，根据用户提供的引用，检查是否有需要引用的地方，比如激活函数的定义或绘图方法是否来自参考内容。但用户提供的引用主要是关于Python的实现，而这里的问题是关于MATLAB的，因此可能引用部分不适用，但需要确认是否有相关内容需要标注。</think>### 分步实现方法 1. **定义输入范围** 生成从$-5$到$5$的连续输入值，步长$0.1$，用于绘制平滑曲线： ```matlab x = -5:0.1:5; ``` 2. **定义激活函数** - **Sigmoid**: $$f(x) = \frac{1}{1 + e^{-x}}$$ ```matlab sigmoid = 1 ./ (1 + exp(-x)); ``` - **Tanh**: $$f(x) = \tanh(x)$$（直接使用MATLAB内置函数） ```matlab tanh_y = tanh(x); ``` - **ReLU**: $$f(x) = \max(0, x)$$ ```matlab relu = max(0, x); ``` - **LeakyReLU**: $$f(x) = \begin{cases} x & x \geq 0 \\ 0.01x & x < 0 \end{cases}$$ ```matlab leakyrelu = x .* (x >= 0) + 0.01 * x .* (x < 0); ``` 3. **绘制图像** 使用`subplot`将四个函数绘制在同一窗口的不同子图中： ```matlab figure; % Sigmoid subplot(2,2,1); plot(x, sigmoid, 'b', 'LineWidth', 2); title('Sigmoid'); grid on; % Tanh subplot(2,2,2); plot(x, tanh_y, 'r', 'LineWidth', 2); title('Tanh'); grid on; % ReLU subplot(2,2,3); plot(x, relu, 'g', 'LineWidth', 2); title('ReLU'); grid on; % LeakyReLU subplot(2,2,4); plot(x, leakyrelu, 'm', 'LineWidth', 2); title('LeakyReLU'); grid on; ``` ### 完整代码 ```matlab x = -5:0.1:5; % Sigmoid sigmoid = 1 ./ (1 + exp(-x)); % Tanh tanh_y = tanh(x); % ReLU relu = max(0, x); % LeakyReLU leakyrelu = x .* (x >= 0) + 0.01 * x .* (x < 0); % 绘图 figure; subplot(2,2,1); plot(x, sigmoid, 'b', 'LineWidth', 2); title('Sigmoid'); grid on; subplot(2,2,2); plot(x, tanh_y, 'r', 'LineWidth', 2); title('Tanh'); grid on; subplot(2,2,3); plot(x, relu, 'g', 'LineWidth', 2); title('ReLU'); grid on; subplot(2,2,4); plot(x, leakyrelu, 'm', 'LineWidth', 2); title('LeakyReLU'); grid on; ``` ### 效果说明 - **Sigmoid** 输出范围$(0,1)$，适用于概率映射[^1]。 - **Tanh** 输出范围$(-1,1)$，中心对称性有助于收敛[^2]。 - **ReLU** 在$x>0$时线性增长，避免梯度消失。 - **LeakyReLU** 改进ReLU的“神经元死亡”问题，允许负值区域有微小梯度。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值