MLP激活函数的选择

最新推荐文章于 2025-07-12 12:15:41 发布
原创 最新推荐文章于 2025-07-12 12:15:41 发布 · 2.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

http://www.cnblogs.com/neopenx/p/4453161.html


ps:供自己后续学习

12.感知机以及多层感知机（MLP），激活函数
weixin_47505105的博客
12-08 4541
笔记
第3章(3.8～3.10节)多层感知机实现【深度学习基础】--动手学深度学习【Tensorflow2.0版本】
土豆洋芋山药蛋的博客
01-30 2600
项目地址：https://github.com/TrickyGo/Dive-into-DL-TensorFlow2.0 UC 伯克利李沐的《动手学深度学习》开源书一经推出便广受好评。很多开发者使用了书的内容，并采用各种各样的深度学习框架将其复现。 现在，《动手学深度学习》书又有了一个新的复现代码版本——TensorFlow2.0 版，短时间内成为了github上千star项目，欢迎关注。 文章...
如何选择正确的激活函数？
djph26741的博客
03-15 387
如何选择正确的激活函数？ 现在我们已经了解了这么多的激活函数，接下来就需要分析在哪种情况下应该使用哪种激活函数了。激活函数好或坏，不能凭感觉定论。然而，根据问题的性质，我们可以为神经网络更快更方便地收敛作出更好的选择。 用于分类器时，Sigmoid函数及其组合通常效果更好。 由于梯度消失问题，有时要避免使用sigmoid和tanh函数。 ReLU函数是一个通用的激活函数，目前在大...
多层感知机激活函数的选择
weixin_44046626的博客
02-13 370
神经网络 分类 sigmoid softmax
dfly_zx的博客
02-28 1235
在mlp中，新神经元的输出可以理解为，前面很多个神经元信号经过激活函数处理后的结果。这个激活函数是可以调的，二分类任务，最后的激活函数使用sigmoid很适用，类似于逻辑回归。但如果是多分类，而且结果是多类别中的某一个（比如结果是4类中的一类，我们可以理解为这四个类别发生的概率之和为1），那我们可以使用softmax，通过这个激活函数运算，输出为每个类别可能的概率，最大的概率那个，就是本次预测的类...
MLP计算过程中的参数初始化，以及激活函数、损失函数的介绍
m0_74184968的博客
08-17 1122
然而，ReLU 也存在一些问题，如 "Dead ReLU" 问题，即某些神经元在训练过程中可能始终保持不活跃，以及 "Exploding Gradient" 问题，即在某些情况下可能会导致梯度爆炸。Tanh 函数的输出范围在 -1 到 1 之间，这使得它对于一些问题比 Sigmoid 函数更适用，如将输出映射到一个有界的范围。这在某些情况下可能对网络的训练有所帮助。尽管 Sigmoid 函数是非线性的，但在输入值非常大或非常小的情况下，它的梯度会趋近于零，可能导致梯度消失问题。
多层感知机 MLP与激活函数
weixin_74611470的博客
12-17 740
多层感知机 MLP，使用很多，可以改成别的。SVM算法又称为支持向量机, 用起来更简单，MLP代码和深度学习CNN、RNN差别不多感知机是一个二分类模型，相当于一次梯度下降。
激活函数（Activation Function）
热门推荐
weixin_39910711的博客
03-17 5万+
深度学习领域最常用的10个激活函数，一文详解数学原理及优缺点：https://mp.weixin.qq.com/s/bleTRzA_1X3umR5UXSpuHg 深度学习中几种常见的激活函数理解与总结：https://www.cnblogs.com/XDU-Lakers/p/10557496.html 神经网络梯度消失和梯度爆炸及解决办法：https://blog.youkuaiyun.com/program_developer/article/details/80032376 常用激活函...
激活函数是什么？常用的激活函数：ReLU函数、sigmoid函数和tanh函数
最新发布
wh1236666的博客
07-12 1415
第一个图展示 Sigmoid 函数本身的非线性特性（将输入映射到 (0,1) 区间）；第二个图展示 Sigmoid 导数的分布特性（中间大、两边小，易导致梯度消失）。
深入理解多层感知机（MLP）：原理与代码解析
weixin_43749805的博客
06-14 2万+
多层感知机（MLP）是一种经典的神经网络模型，由多个神经元层组成。它的结构和功能使其成为深度学习中的重要组成部分。MLP在各种任务中表现出色，如图像分类、文本分类、预测和回归等。
深度学习初步，全连接神经网络，MLP从原理到实现（二）原理部分，过拟合，激活函数，batchsize和epochs，训练DL模型的建议
outsider
03-25 4274
其他两篇： 深度学习初步，全连接神经网络，MLP从原理到实现（一）原理部分，反向传播详细解释和实际计算例子 深度学习初步，全连接神经网络，MLP从原理到实现（三）实现部分，用java实现MLP 1.激活函数 （1）Sigmoid Sigmoid将所有输入压缩到0到1之间，这样造成的问题是，当随着神经网络的层次加深时，特征的变化由于sigmoid而慢慢衰减。这样会造成靠近输入层的梯度很...
（知乎）人工神经网络中的activation function的作用具体是什么？ReLu的特点?
lixiaoguang20的博客
12-26 1623
作者：Begin Again 链接：https://www.zhihu.com/question/29021768/answer/43488153 来源：知乎 著作权归作者所有，转载请联系作者获得授权。 第一个问题：为什么引入非线性激励函数？ 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，
[ML]机器学习_激活函数
iazzz的博客
10-16 277
激活函数(Activation Function)是神经网络中的一种数学函数，用于将输入转换为输出，并增加神经元之间的非线性特性。激活函数通常被应用于神经网络中的隐藏层和输出层，以实现非线性映射和复杂的分类和回归任务。常见的激活函数包括Sigmoid函数、ReLU函数、Tanh函数等。选择合适的激活函数可以对神经网络的性能和准确度产生重要影响。
【机器学习-05】-激活函数的选择-神经网络使用激活函数的必要性
wangshangshang09的博客
03-29 1964
归纳了不同场景下的激活函数选择规则：Sigmoid • 公式：σ(z)=11+e−z\sigma(z) = \frac{1}{1 + e^{-z}}σ(z)=1+e−z1​ • 特点：输出概率，适合二分类最后一层。 • 示例：Linear • 公式：f(z)=zf(z) = zf(z)=z • 特点：无变换，直接输出线性值，适合回归任务。ReLU (Rectified Linear Unit) • 公式：ReLU(z)=max⁡(0,z)\text{ReLU}(z) = \max(0, z)ReLU(z)=
动手学深度学习笔记（六）——多层感知机及实现
不兼容旧版本
03-15 2453
多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐层。
神经网络③——sklearn参数介绍及应用
cindy407的博客
07-03 2万+
一、MLPClassifier&MLPRegressor参数和方法 MLPClassifier(solver=’sgd’, activation=’relu’,alpha=1e-4,hidden_layer_sizes=(50,50), random_state=1,max_iter=10,learning_rate_init=.1) 参数说明（分类和回归参数一致）： hidden_...
python MLPRegressor神经网络回归预测
import_torch_as_tf
10-31 3万+
'''载入数据''' from sklearn import datasets boston = datasets.load_boston() x,y = boston.data,boston.target '''引入标准化函数''' from sklearn import preprocessing x_MinMax = preprocessing.MinMaxScaler() y_MinMa...
学习笔记三：MLP基本原理、矩阵求导术推反向传播、激活函数、Xavier
qq_56591814的博客
05-06 4111
文章目录一、BP神经网络（MLP）1.1 感知机模型及其局限性1.2 BP神经网络基本原理1.3 softmax多分类、求导1.4 二分类使用softmax还是sigmoid好？1.5 为什么要用激活函数？1.6 梯度下降和链式求导1.7度量学习二、矩阵求导术2.1 标量对向量求导2.2 向量对向量求导2.3 标量对矩阵的矩阵2.4 向量求导及链式法则2.5 BP反向传播2.5 激活函数及其导数三、神经网络调优3.1 激活函数得选型3.2 Relu激活函数及其变体3.3 高斯误差线性单元激活函数gelu3.
2-MLP讲解
wujing1_1的博客
05-22 1132
文章目录2. 神经网络2.1 概念2.1.1 概念2.1.2 应用-分类2.2 前期准备2.2.1 神经元2.2.2 激活函数1) sigmoid函数2) 双极性Sigmoid函数3) 阶跃函数4) ReLU2.2.3 层介绍1) 输入层2) 隐藏层3) 输出层4) Softmax-with-Loss 层5) Affine层2.3 损失函数2.3.1 均方误差2.3.2 交叉熵误差 2. 神经网络 参考资料 https://blog.youkuaiyun.com/as091313/article/details/790
Python sklearn MLP调整激活函数
05-24
### 在 Python sklearn MLPClassifier 中调整激活函数的方法 `MLPClassifier` 提供了灵活的接口允许用户更改其内部配置，包括激活函数的选择。激活函数决定了神经元输出与输入之间的非线性关系，这对于捕捉复杂模式至关重要。 #### 激活函数选项 `MLPClassifier` 支持以下几种常见的激活函数[^2]： - **'identity'**: 不执行任何操作，即 \( f(x) = x \)，通常用于回归问题的最后一层。 - **'logistic'**: 对数几率函数 (Logistic Sigmoid Function)，定义为 \( f(x) = \frac{1}{1 + e^{-x}} \)[^2]。 - **'tanh'**: 双曲正切函数 (Hyperbolic Tangent Function)，定义为 \( f(x) = \text{tanh}(x) \)[^2]。 - **'relu'**: 整流线性单元 (Rectified Linear Unit)，定义为 \( f(x) = \max(0, x) \)[^2]。 默认情况下，`MLPClassifier` 使用的是 'relu' 激活函数。 #### 更改激活函数的方式 可以通过在初始化 `MLPClassifier` 实例时传递参数 `activation` 来指定所需的激活函数。例如： ```python from sklearn.neural_network import MLPClassifier # 创建一个带有 tanh 激活函数的 MLPClassifier 实例 clf_tanh = MLPClassifier(hidden_layer_sizes=(100,), activation='tanh', solver='adam', max_iter=200) # 创建一个带有 logistic 激活函数的 MLPClassifier 实例 clf_logistic = MLPClassifier(hidden_layer_sizes=(100,), activation='logistic', solver='adam', max_iter=200) # 创建一个带有 relu 激活函数的 MLPClassifier 实例（也是默认值） clf_relu = MLPClassifier(hidden_layer_sizes=(100,), activation='relu', solver='adam', max_iter=200) ``` 以上代码展示了如何通过修改 `activation` 参数来改变模型中的激活函数。 #### 示例：使用不同的激活函数进行鸢尾花数据集分类 下面的例子演示了如何在不同激活函数下训练和评估模型的效果： ```python from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.neural_network import MLPClassifier from sklearn.metrics import accuracy_score # 加载鸢尾花数据集 data = load_iris() X, y = data.data, data.target # 将数据分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 定义三种不同的激活函数对应的模型 activations = ['tanh', 'logistic', 'relu'] results = {} for act in activations: clf = MLPClassifier(hidden_layer_sizes=(100,), activation=act, solver='adam', max_iter=500, random_state=42) clf.fit(X_train, y_train) y_pred = clf.predict(X_test) acc = accuracy_score(y_test, y_pred) results[act] = {'accuracy': acc, 'n_layers': clf.n_layers_, 'loss': clf.loss_} # 输出结果 for act, res in results.items(): print(f"Activation function: {act}") print(f"\tAccuracy: {res['accuracy']:.4f}, Layers: {res['n_layers']}, Loss: {res['loss']:.4f}\n") ``` 此脚本比较了三个常见激活函数的表现，并记录了它们各自的准确性、层数以及最终损失值。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值