【深度学习】常见模型-多层感知机(MLP,Multilayer Perceptron)

多层感知机(MLP)是一种经典的人工神经网络结构,由输入层、一个或多个隐藏层以及输出层组成。每一层中的神经元与前一层的所有神经元全连接,且各层间的权重是可学习的。MLP 是深度学习的基础模型之一,主要用于处理结构化数据、分类任务和回归任务等。


特点

  1. 全连接层:每个神经元与前一层的所有神经元连接,能学习复杂的非线性关系。
  2. 激活函数:隐藏层和输出层的每个神经元使用非线性激活函数(如 ReLU(/ray-loo/)、Sigmoid(/ˈsɪɡˌmɔɪd/)、Tanh(/tænʃ/))来增加模型的表达能力。
  3. 前向传播和反向传播
    • 前向传播:输入数据经过各层加权求和并通过激活函数计算输出。
    • 反向传播:根据损失函数计算梯度,并通过优化算法(如 SGD、Adam)更新权重。
  4. 通用逼近性:理论上,MLP 可以逼近任意连续函数。

MLP 的结构

  • 输入层:接受输入数据的特征向量,大小等于数据的维度。
  • 隐藏层:一个或多个隐藏层,每层由若干神经元组成,负责特征提取和非线性映射。
  • 输出层:根据任务类型输出结果,例如分类问题中每类的概率或回归问题中的预测值。

代码示例

以下是一个使用 TensorFlow/Keras(/'kɜːrəz/或/'kiərəz/) 实现简单 MLP 的代码示例:

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Input

# 定义多层感知机模型
def build_mlp(input_dim, hidden_units, output_dim):
    model = Sequential()
    # 输入层和第一层隐藏层
    model.add(Input(shape=(input_dim,)))
    model.add(Dense(hidden_
多层感知器Multilayer PerceptronMLP)是一种常用的神经网络模型,可以用来解决分类和回归问题。它由输入层、隐藏层和输出层组成,每一层都由多个神经元组成,相邻层之间的神经元之间有连接权重。 使用Python实现多层感知器模型的方法如下: 1. 导入所需的库:首先需要导入NumPy库用于数值计算,以及scikit-learn库用于数据预处理。 ```python import numpy as np from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split ``` 2. 准备数据:将原始数据集划分为训练集和测试集,并进行特征缩放。 ```python X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2) scaler = StandardScaler() X_train = scaler.fit_transform(X_train) X_test = scaler.transform(X_test) ``` 3. 初始化权重和偏置:定义一个随机初始化权重和偏置的函数。 ```python def initialize_parameters(layer_dims): parameters = {} for l in range(1, len(layer_dims)): parameters['W' + str(l)] = np.random.randn(layer_dims[l], layer_dims[l-1]) * 0.01 parameters['b' + str(l)] = np.zeros((layer_dims[l], 1)) return parameters parameters = initialize_parameters(layer_dims) ``` 4. 前向传播:定义前向传播函数,计算神经网络的输出。 ```python def forward_propagation(X, parameters): A = X caches = [] for l in range(1, L): Z = np.dot(parameters['W' + str(l)], A) + parameters['b' + str(l)] A = relu(Z) cache = (Z, A) caches.append(cache) ZL = np.dot(parameters['W' + str(L)], A) + parameters['b' + str(L)] AL = sigmoid(ZL) return AL, caches AL, caches = forward_propagation(X_train, parameters) ``` 5. 计算损失:根据神经网络的输出和真实标签计算损失函数。 ```python def compute_cost(AL, Y): m = Y.shape[1] cost = (-1/m) * np.sum(np.multiply(Y, np.log(AL)) + np.multiply(1-Y, np.log(1-AL))) return cost cost = compute_cost(AL, y_train) ``` 6. 反向传播:定义反向传播函数,计算梯度并更新参数。 ```python def backward_propagation(AL, Y, caches): grads = {} dZL = AL - Y dW = (1/m) * np.dot(dZL, A_prev.T) db = (1/m) * np.sum(dZL, axis=1, keepdims=True) dA_prev = np.dot(W.T, dZ) grads['dW'] = dW grads['db'] = db return grads grads = backward_propagation(AL, y_train, caches) ``` 7. 参数更新:根据梯度和学习率更新参数。 ```python def update_parameters(parameters, grads, learning_rate): for l in range(1, L): parameters['W' + str(l)] -= learning_rate * grads['dW' + str(l)] parameters['b' + str(l)] -= learning_rate * grads['db' + str(l)] return parameters parameters = update_parameters(parameters, grads, learning_rate) ``` 8. 模型训练:将上述步骤整合到一个函数中,循环迭代多次进行模型训练。 ```python def model(X, Y, learning_rate, num_iterations): parameters = initialize_parameters(layer_dims) for i in range(num_iterations): AL, caches = forward_propagation(X, parameters) cost = compute_cost(AL, Y) grads = backward_propagation(AL, Y, caches) parameters = update_parameters(parameters, grads, learning_rate) return parameters parameters = model(X_train, y_train, learning_rate, num_iterations) ``` 以上就是使用Python实现多层感知器MLP模型的主要步骤。根据具体数据集和问题,可能需要进行参数调优和模型评估等进一步步骤。在实际应用中,还可以使用其他性能更好的库(如TensorFlow、Keras)来实现多层感知器模型
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值