卷积神经网络中的激活函数sigmoid、tanh、relu

激活函数在神经网络中起到关键作用,负责引入非线性。本文详细介绍了sigmoid、tanh和ReLU三种常见激活函数的性质、优缺点以及它们在梯度消失问题上的表现。sigmoid和tanh由于饱和性导致训练速度慢,而ReLU因其线性特性在训练中能更快收敛,但存在神经元死亡问题。选择激活函数时,通常在输出层使用sigmoid(二分类问题),隐藏层偏好ReLU,以平衡训练效率和模型复杂性。

目录

1、什么是激活函数?

2、为什么要在卷积层后面添加激活函数?

3、激活函数的性质

3.1 sigmoid 激活函数 

3.2 tanh 激活函数

3.3 ReLU 激活函数

4、如何选择激活函数?

5、神经网络中的隐藏层是什么?


神经网络中的一个个神经元实质上是一个线性变换和非线性的激活函数的操作。

1、什么是激活函数?

一个神经元会同时接收多个信号,然后将这些信号乘以一定权重求和,再用函数处理后再输出新的信号。对神经元的输入进行处理,以获得输出的函数称为激活函数。

2、为什么要在卷积层后面添加激活函数?

如果只有线性变换,那无论多少层神经元,都能简化层一层神经元,那神经网络只是简单多元线性回归而已,不能拟合更加复杂的函数。举个例子,如果我们只有线性操作,那么我们的神经网络永远无法拟合圆等复杂的曲线图形,永远只能表示超平面,无法表示曲面等。

激活函数的目的:将神经网络非线性化,即提升神经网络的拟合能力,能拟合更复杂的函数。

  • 激活函数对模型学习、理解非常复杂和非线性的函数具有重要作用。
  • 激活函数可以引入非线性因素。如果不使用激活函数,则输出信号仅是一个简单的线性函数。线性函数一个一级多项式,线性方程的复杂度有限,从数据中学习复杂函数映射的能力很小。没有激活函数,神经网络将无法学习和模拟其他复杂类型的数据,例如图像视频、音频、语音等。
  • 激活函数可以把当前特征空间通过一定的线性映射转换到另一个空间,让数据能够更好的被分类。

3、激活函数的性质

  1. 连续的:当输入值发生较小的改变时,输出值也发生较小的改变;
  2. 可导的:在定义域中,每一处都是存在导数;

从定义来看,几乎所有的连续可导函数都可以用作激活函数。但目前常见的多是分段线性和具有指数形状的非线性函数。

在实际的应用中,我们需要先了解以下概念:
饱和
        当一个激活函数 h(x) 满足 limn→+∞h′(x)=0 时,我们称之为右饱和。
        当一个激活函数 h(x) 满足 limn→−∞h′(x)=0 时,我们称之为左饱和。
        当一个激活函数,既满足左饱和又满足又饱和时,我们称之为饱和。
硬饱和与软饱和
        对任意的x,如果存在常数c,当 x > c 时恒有 h′(x)=0 则称其为右硬饱和。
        对任意的x,如果存在常数c,当 x < c 时恒有

<think>好的,我现在需要帮助用户在MATLAB中绘制sigmoidtanhReLU和LeakyReLU激活函数的图像。首先,我得回忆一下这些激活函数的数学表达式,然后考虑如何在MATLAB中实现它们。 首先,用户提到了四个激活函数sigmoidtanhReLU和LeakyReLU。我需要逐一确认每个函数的定义。比如,sigmoid函数通常是$f(x) = \frac{1}{1 + e^{-x}}$,tanh是双曲正切函数,表达式为$f(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$,或者也可以用双曲函数库里的函数。ReLU比较简单,就是$f(x) = \max(0, x)$,而LeakyReLU则是当x小于0时,乘以一个小的斜率,比如0.01,所以表达式是$f(x) = \begin{cases} x & \text{if } x \geq 0 \\ 0.01x & \text{otherwise} \end{cases}$。 接下来,考虑如何在MATLAB中实现这些函数。对于sigmoid,可能需要用元素级运算,比如用exp函数计算指数。同样,tanh在MATLAB中可能有内置函数,但为了准确起见,可能需要手动实现或者调用正确的函数。ReLU和LeakyReLU可以用条件判断,或者更高效的方式,比如逐元素比较。 然后,关于绘图部分。用户希望将这四个函数绘制出来。在MATLAB中,通常需要生成一个x值的向量,然后计算对应的y值,再使用plot函数绘制。可能需要设置不同的颜色和线条样式来区分各个激活函数。同时,添加网格、标签、标题和图例也是必要的步骤,以便图像更清晰。 需要注意的几点:首先,生成x的范围,比如从-5到5,步长0.1,这样可以覆盖函数的典型变化区域。其次,处理每个函数时,确保数组运算正确,避免维度错误。例如,sigmoid函数中的指数运算应该是对每个元素进行操作,而不是矩阵运算。可能需要使用点运算符(如.*和.^)来确保按元素计算。 对于LeakyReLU,可能需要使用逻辑索引来处理x中大于等于0和小于0的部分。例如,在MATLAB中,可以这样实现:y = x .* (x >= 0) + 0.01 * x .* (x < 0)。或者使用max函数结合不同的条件。 另外,用户提到在Python中使用detach()来切断计算图,但在MATLAB中不需要处理张量计算图的问题,因为MATLAB主要用于数值计算而不是深度学习框架中的自动微分。因此,这部分可以忽略,直接处理普通的数值数组即可。 接下来,需要整合这些步骤到一个MATLAB脚本中。可能需要分几个子图,或者在同一图中用不同颜色绘制,但考虑到四个函数放在同一图中可能比较拥挤,所以分四个子图更合适,每个子图显示一个函数。 然后,检查代码的正确性。例如,sigmoid函数是否计算正确,tanh是否有内置函数或者是否需要手动实现。在MATLAB中,tanh函数是内置的,可以直接使用。ReLU可以用max函数,LeakyReLU可能需要逻辑索引。 最后,确保图像的展示效果良好,包括坐标轴标签、标题、图例、网格线等。可能需要使用hold on来在同一图中绘制多个函数,但如果是分四个子图的话,每个子图独立显示一个函数更清晰。 现在,我需要将上述思考转化为具体的MATLAB代码步骤,并确保每个激活函数的正确性,以及绘图的正确设置。同时,需要按照用户的要求,使用中文回答,并生成相关问题。最后,根据用户提供的引用,检查是否有需要引用的地方,比如激活函数的定义或绘图方法是否来自参考内容。但用户提供的引用主要是关于Python的实现,而这里的问题是关于MATLAB的,因此可能引用部分不适用,但需要确认是否有相关内容需要标注。</think>### 分步实现方法 1. **定义输入范围** 生成从$-5$到$5$的连续输入值,步长$0.1$,用于绘制平滑曲线: ```matlab x = -5:0.1:5; ``` 2. **定义激活函数** - **Sigmoid**: $$f(x) = \frac{1}{1 + e^{-x}}$$ ```matlab sigmoid = 1 ./ (1 + exp(-x)); ``` - **Tanh**: $$f(x) = \tanh(x)$$(直接使用MATLAB内置函数) ```matlab tanh_y = tanh(x); ``` - **ReLU**: $$f(x) = \max(0, x)$$ ```matlab relu = max(0, x); ``` - **LeakyReLU**: $$f(x) = \begin{cases} x & x \geq 0 \\ 0.01x & x < 0 \end{cases}$$ ```matlab leakyrelu = x .* (x >= 0) + 0.01 * x .* (x < 0); ``` 3. **绘制图像** 使用`subplot`将四个函数绘制在同一窗口的不同子图中: ```matlab figure; % Sigmoid subplot(2,2,1); plot(x, sigmoid, 'b', 'LineWidth', 2); title('Sigmoid'); grid on; % Tanh subplot(2,2,2); plot(x, tanh_y, 'r', 'LineWidth', 2); title('Tanh'); grid on; % ReLU subplot(2,2,3); plot(x, relu, 'g', 'LineWidth', 2); title('ReLU'); grid on; % LeakyReLU subplot(2,2,4); plot(x, leakyrelu, 'm', 'LineWidth', 2); title('LeakyReLU'); grid on; ``` ### 完整代码 ```matlab x = -5:0.1:5; % Sigmoid sigmoid = 1 ./ (1 + exp(-x)); % Tanh tanh_y = tanh(x); % ReLU relu = max(0, x); % LeakyReLU leakyrelu = x .* (x >= 0) + 0.01 * x .* (x < 0); % 绘图 figure; subplot(2,2,1); plot(x, sigmoid, 'b', 'LineWidth', 2); title('Sigmoid'); grid on; subplot(2,2,2); plot(x, tanh_y, 'r', 'LineWidth', 2); title('Tanh'); grid on; subplot(2,2,3); plot(x, relu, 'g', 'LineWidth', 2); title('ReLU'); grid on; subplot(2,2,4); plot(x, leakyrelu, 'm', 'LineWidth', 2); title('LeakyReLU'); grid on; ``` ### 效果说明 - **Sigmoid** 输出范围$(0,1)$,适用于概率映射[^1]。 - **Tanh** 输出范围$(-1,1)$,中心对称性有助于收敛[^2]。 - **ReLU** 在$x>0$时线性增长,避免梯度消失。 - **LeakyReLU** 改进ReLU的“神经元死亡”问题,允许负值区域有微小梯度。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值