何时使用MLP，CNN和RNN神经网络

最新推荐文章于 2025-10-29 17:13:52 发布
转载 最新推荐文章于 2025-10-29 17:13:52 发布 · 6k 阅读 · 33 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/baidu_33718858/article/details/84964311

本文指导如何根据预测建模问题选择合适的神经网络，探讨多层感知器(MLP)、卷积神经网络(CNN)及递归神经网络(RNN)的应用场景，包括分类、回归、图像、文本和时间序列数据，同时提出混合网络模型的概念。
部署运行你感兴趣的模型镜像

                           什么神经网络适合你的预测建模问题？

对于深层学习领域的初学者来说，知道使用哪种类型的网络可能是困难的。每天都有那么多类型的网络可供选择，并且有新的方法被公布和讨论。更糟糕的是，大多数神经网络足够灵活，即使用于错误的数据类型或预测问题，它们也能够工作（进行预测）。
在这篇文章中，你将发现三种主要人工神经网络的建议用途。
读完这篇文章，你会知道：

  1. 在处理预测建模问题时，需要关注哪种类型的神经网络。
  2. 何时使用、不使用，以及可能的尝试在项目中使用MLP、CNN和RNN。
  3. 在选择模型之前，要考虑使用混合模型，并清楚地了解项目目标。

我们开始吧。

概述


这篇文章分为五个部分，它们是：

  1. 要关注什么神经网络？
  2. 何时使用多层感知器？
  3. 何时使用卷积神经网络？
  4. 何时使用递归神经网络？
  5. 混合网络模型

要关注什么神经网络？

深度学习是使用现代硬件的人工神经网络的应用。
它允许开发、训练和使用比先前认为可能更大（更多层）的神经网络。
研究人员提出了成千上万种特定的神经网络作为对现有模型的修改或调整。有时完全是新的方法。
作为一名实践者，我建议等到模型变得普遍适用时再进行操作。从每天或每周发布的大量出版物的噪音中，很难弄清楚什么工作正常。
一般来说，我建议您关注三类人工神经网络。他们是：

多层感知器（MLP）
卷积神经网络（CNN）
递归神经网络（RNN）
这三类网络提供了很大的灵活性，并且经过几十年的实践证明，它们在广泛的问题中是有用的和可靠的。它们也有许多子类型来帮助专门针对预测问题的不同框架和不同数据集的特性。
现在我们已经知道了应该关注哪些网络，让我们看看何时可以使用每类神经网络。

何时使用多层感知器？


多层感知器，简称MLP，是神经网络的经典类型。
它们由一层或多层神经元组成。数据被馈送到输入层，可能存在一个或多个提供抽象级别的隐藏层，并且在输出层（也称为可见层）上进行预测。
有关MLP的更多细节，请参阅帖子：

MLP适用于分类预测问题，其中输入被分配一个类或标签。
它们也适用于回归预测问题，其中给定一组输入对实值量进行预测。数据通常以表格格式提供，如您在CSV文件或电子表格中看到的那样。

使用MLP用于：
表格式数据集
分类预测问题
回归预测问题

它们非常灵活，通常可用于学习从输入到输出的映射。
这种灵活性允许将它们应用于其他类型的数据。例如，可以将图像的像素减少到一长行数据，并将其输入给MLP。文档的单词也可以减少为一长行数据，并输入给MLP。即使时间序列预测问题的滞后观测值也可以减少为长数据行并输入给MLP。
因此，如果您的数据不是表格式数据集，例如图像、文档或时间序列，那么我建议至少测试一个MLP。这些结果可以用作比较基准点，以确认其他可能看起来更适合增值的模型。

尝试MLPs 在：
图像数据
文本数据
时间序列数据
其他类型的数据

何时使用卷积神经网络？


卷积神经网络（CNN）被设计成将图像数据映射到输出变量。
它们被证明是如此的有效，以至于对于涉及图像数据作为输入的任何类型的预测问题，它们都是可行的方法。
有关CNN的更多详细信息，请参阅帖子：

使用CNN的好处是它们开发二维图像的内部表示的能力。这允许模型学习数据中不同结构中的位置和比例，这对于处理图像非常重要。

使用CNN用于：
图像数据
分类预测问题
回归预测问题


更一般地，CNN能够很好地处理具有空间关系的数据。
CNN输入传统上是二维的，字段或矩阵，但也可以改变为一维，允许它开发一维序列的内部表示。
这允许CNN更一般地用于具有空间关系的其他类型的数据。例如，文本文档中的单词之间存在顺序关系。时间序列的时间步长是有序的关系。
尽管没有专门针对非图像数据开发，CNN在诸如情感分析中使用的文档分类和相关问题方面取得了最先进的结果。

试试CNN：
文本数据
时间序列数据
序列输入数据

何时使用递归神经网络？


递归神经网络（RNNs）被设计成处理序列预测问题。
序列预测问题有多种形式，最好用所支持的输入和输出类型来描述。
序列预测问题的一些示例包括：
一对多：作为输入的观察映射到多个步骤的输出序列。（也就是用一步观测值往后预测多步）
多对一：作为输入映射到类或数量预测的多个步骤的序列。（多步观测值预测一个类别或一步）
多对多：作为输入的多个步骤的序列，映射到具有多个步骤作为输出的序列。（多步观测值预测多步）
多对多问题通常被称为序列对序列，或简称seq2seq。
有关序列预测问题类型的详细信息，请参阅后文：

传统上，递归神经网络很难训练。
长短期记忆网络，或者LSTM，网络可能是最成功的RNN，因为它克服了训练循环网络的问题，并且反过来已经在广泛的应用中使用。
有关RNN的详细信息，请参阅帖子：

一般来说，RNN和LSTM在处理单词和段落序列（通常称为自然语言处理）时获得了最大的成功。
这包括文本序列和以时间序列表示的口语序列。它们也被用作需要序列输出的生成模型，不仅用于文本，还用于生成手写等应用程序。

使用RNN用于：
文本数据
语音数据
分类预测问题
回归预测问题
生成模型
如您在CSV文件或电子表格中看到的，递归神经网络不适合于表格式数据集。它们也不适合于图像数据输入。
不要使用RNN用于：
表格数据
图像数据
RNN和LSTM已经在时间序列预测问题上进行了测试，但至少可以说结果很差。自回归方法，甚至线性方法通常表现得更好。LSTM常常被应用于相同数据的简单MLP所超越。
有关此主题的更多信息，请参阅帖子：

然而，它仍然是一个活跃的领域。
也许试试RNNs：

时间序列数据

混合网络模型


CNN或RNN模型很少单独使用。
这些类型的网络在更广泛的模型中用作层，该模型还具有一个或多个MLP层。从技术上讲，这是一种混合型的神经网络结构。
也许最有趣的工作来自于将不同类型的网络混合到混合模型中。
例如，考虑一个模型，该模型使用一个层堆栈，在输入端有一个CNN，在中间有一个LSTM，在输出端有一个MLP。这样的模型可以读取图像输入序列，例如视频，并生成预测。这叫做CNN LSTM architecture.

网络类型还可以堆叠在特定的体系结构中以解锁新功能，例如使用非常深的CNN和MLP网络的可重用图像识别模型，这些网络可以添加到新的LSTM模型中，并用于照片的标题。此外，编码器-解码器LSTM网络，可用于具有不同长度的输入和输出序列。
首先要清楚地考虑您和您的团队从项目中需要什么，然后寻找满足您特定项目需求的网络体系结构（或开发网络体系结构）。
要获得帮助您思考数据和预测问题的良好框架，请参阅帖子：

进一步阅读


如果您希望深入研究，本节将提供关于这个主题的更多资源。

总结


在这篇文章中，您发现了三种主要人工神经网络的建议用途。
具体来说，你学到了：
在处理预测建模问题时，需要关注哪种类型的神经网络。
何时使用、不使用，以及可能的尝试在项目中使用MLP、CNN和RNN。
在选择模型之前，要考虑使用混合模型，并清楚地了解项目目标。

您可能感兴趣的与本文相关的镜像

Stable-Diffusion-3.5

Stable-Diffusion-3.5

图片生成
Stable-Diffusion

Stable Diffusion 3.5 (SD 3.5) 是由 Stability AI 推出的新一代文本到图像生成模型，相比 3.0 版本，它提升了图像质量、运行速度和硬件效率

常用神经网络MLP、CNN和RNN
盼小辉丶的博客
09-16 1059
本节介绍了三种常用神经网络：多层感知器 (MLP)、卷积神经网络 (CNN) 和循环神经网络 (RNN)。MLP 适用于全连接任务但难以处理序列和多维数据；CNN 通过卷积核提取空间特征，擅长图像处理；RNN 利用隐藏状态捕捉序列依赖关系，适用于文本等时序数据。文章以 MNIST 手写数字分类为例，分别展示了三种网络的架构与实现，并讨论了激活函数、损失函数、优化器及正则化等关键组件，同时解释了 RNN 中的梯度消失/爆炸问题及其解决方案。
深入探索神经网络：MLP、CNN和Transformer在自然语言处理中的应用
rewysz007的博客
06-28 2252
多层感知器作为一种灵活和可扩展的神经网络结构，能够在各种AI应用中发挥重要作用。通过适当的网络设计和训练，MLP能够处理和学习复杂的数据模式，从而提高系统在不同任务中的性能和准确性。二. 编码器—解码器与注意力机制在机器翻译中，特别是当输入和输出序列的长度不同或不固定时，编码器—解码器结构配合注意力机制被广泛采用。编码器负责将输入序列编码为一个固定长度的上下文向量，而解码器则根据这个向量生成输出序列。这一点不作过多赘述，因为文章的后续也有涉及到。三。
MLP神经网络适合用于解决分类问题还是回归问题？
m0_37566886的博客
05-23 1694
多层感知机（Multilayer Perceptron，MLP）神经网络既可以用于解决分类问题，也可以用于解决回归问题。对于分类问题，MLP 的输出层通常使用 softmax 激活函数（对于多分类问题）或 sigmoid 激活函数（对于二分类问题）。对于回归问题，MLP 的输出层通常不使用激活函数，或者使用线性激活函数（即 f(x) = x）。对于隐藏层，也可以使用常用的激活函数，如 ReLU、sigmoid 或 tanh 等。总之，MLP 神经网络既可以用于解决分类问题，也可以用于解决回归问题。
【机器学习】04. 神经网络模型 MLPClassifier分类算法与MLPRegressor回归算法（代码注释，思路推导）
MZH
10-07 1万+
【机器学习】04. 神经网络模型 MLPClassifier分类算法与MLPRegressor回归算法（代码注释，思路推导）
主流语义分割解码器详解（MLP | DeepLab v3 | UperNet）
最新发布
小小老大MUTA的博客
10-29 901
主流语义分割解码器详解（MLP | DeepLab v3 | UperNet）
一维CNN+MLP
Daistory的博客
08-09 5262
利用Sequential模型构造一个二层CNN+MLP的多分类任务。任务描述，有一个有向网络，现在需要对网络中的节点进行分类。这里节点的类别就是节点本身，对同一个节点进行多次随机游走得到不同的随机游走序列表示。通过构造的深度学习模型能正确分辨出属于同一节点的不同游走序列。 1.数据加载+构建网络 网络构建，读取一个邻接表文件构建有向图。 class DiGraphs(object): ...
【深度学习】MLP,CNN,RNN基本定义与区别
wongwongwong
11-25 2795
multilayer perceptron(多层感知机器)。常用于处理简单逻辑数学问题。
AI计算模式 神经网络模型 全连接网络 卷积神经网络 循环神经网络 注意力机制 LeNet-5 门控循环单元网络GRU AI计算模式思考 轻量化网络模型设计 模型轻量化与模型压缩
万有文的博客
04-15 1195
AI技术发展至今，主流的模型是深度神经网络模型。近20年来，神经网络模型经过多样化的发展，模型总体变得越来越复杂和庞大，对硬件设备的计算速度、存储能力、通信速度的要求越来越高。尽管学者已经提出了许多方法优化模型结构，降低模型的参数量，但是伴随着人们对AI能力的要求越来越高，模型变得更大是不可避免的。原先单CPU可进行模型的训练与推理，如今需要使用GPU、TPU等设备，并通过分布式并行的方式完成计算。因此，如何高效地训练和部署深度神经网络模型已经成为研究热点。
使用 NumPy 实现类 PyTorch 的动态计算图及神经网络框架（含 MLP、CNN、RNN、Transformer）
08-14
具体到该文档内容，它涵盖了多层感知机（MLP）、卷积神经网络（CNN）、循环神经网络（RNN）以及Transformer模型。NumPy作为Python中用于科学计算的核心库，提供了强大的矩阵操作能力，但其本身并不具备动态计算图的...
基于PyTorch的动态计算图和神经网络框架（MLP、CNN、RNN、Transformer）
10-02
在技术实现方面，NumPy实现类PyTorch的动态计算图和神经网络框架(MLP, CNN, RNN, Transformer)_PyDyNet正是这样一个工具，它能够利用NumPy这一强大的数值计算库来模拟PyTorch的行为。尽管PyTorch本身是用C++编写的，...
sommatlab代码-Deep-learning-foundation:MLP，CNN，RNN，AE等的Matlab和NumPy实现
05-26
来自KTH的两个基础深度学习课程的作业集合，分别是人工神经网络和深度架构（DD2437）和数据科学中的深度学习（DD2424），在其中我研究了经典和基础深度学习算法（MLP，CNN，RNN，AE， Hopfield Network，竞争性学习...
深度学习基础：MLP、BP、CNN、RNN
路遥知马力，日久见人心
10-16 4559
本篇博客参考《Deep Learning》的第二部分对深度学习的基础知识进行总结，主要包括：前馈神经网络、反向传播算法、卷积神经网络和循环神经网络，以便加深理解和记忆
不同类型的循环神经网络（Different types of RNNs）
csdn_xmj的博客
06-19 1225
来源：Coursera吴恩达深度学习课程 到目前为止我们已经了解了一种RNN结构，它的输入量T_x等于输出数量T_y。事实上，对于其他一些应用，和l两者并不一定相等。在这个视频里，我们会看到更多的RNN的结构： 如上图，比如音乐生成（music generation），T_x可以是长度为1甚至为空集。再比如电影情感分类（sentiment classification），输出y可以是1到5的整数，而输入是一个序列。在命名实体识别（name entity recognition）中，这个例子中输入长度
MLP/CNN/RNN/Transformer主流深度学习模型的区别
鬼马行天的博客
04-19 2942
MLP：最简单的前馈网络，不处理序列数据。CNN：通过局部感受野和参数共享，擅长处理图像。RNN：擅长处理序列数据，但难以捕捉长序列中的依赖关系。：利用自注意力机制高效处理序列数据，解决了RNN的长距离依赖问题，适用于需要复杂关系理解的任务。希望这些解释能帮助您更好地理解这些不同类型的神经网络及其适用场景。如果您有任何其他问题或需要更多帮助，请随时告诉我！
神经网络：多层感知机-MLP
weixin_50168152的博客
08-27 3172
MLP
【NLP】用MLP、CNN、RNN解决文本情感分类问题
晨曦的博客
07-20 5360
这是一个练手MLP、CNN、RNN的demo，pytorch实现。包含预处理，数据加载，模型构建，训练，测试，性能展示训练模型全套。细致讲解整个代码实现过程的每一步。 训练环境： Ubuntu 18.04 python 3.7 Conda CUDA 10.2 GPU RTX2080Ti 任务目标 利用PyTorch深度学习框架，实现多层感知机（MLP）、卷积神经网络（CNN）和递归神经网络（RNN）。 利用已实现好的深度网络模型，实现文本数据预处理、载入、训练和测试等功能，并根据预测的结果计算分类指标。
AI-基本概念-MP/单层感知机/MLP/CNN/RNN/自注意力模型
深度安全实验室
10-28 1342
AI-基本概念-MP/单层感知机/MLP/CNN/RNN/自注意力模型
CNN与MLP之间的关系，优缺点
热门推荐
Drug discovery
12-21 2万+
CNN的计算过程： 很多书或论文也将MLP和CNN区别开来，但是实际MLP只是CNN的一个特例，也就是说MLP本身也是CNN，以下为简要的论述。 上图为CNN的计算过程，这里的输入为 3x3 的图片，卷积核大小也为 3x3 ，这里的stride为0，计算公式为 MLP的计算过程： MLP实际是1*1的卷积，n个卷积核就将原来的d维变为n维. 下图为MLP的计算过程（为了方便MLP的计算过程图权重W被拆开了实际为9x3的矩阵，而输入计算时应该先转置，输出也是需要转置，即 1x9 dot 9...
多对一的时间序列模型有哪些，分别怎么做
weixin_35756892的博客
01-05 495
多对一时间序列模型是指将多个序列作为输入，预测一个序列的模型。常见的多对一时间序列模型有以下几种： 多层感知机(MLP)：将多个序列堆叠在一起，作为MLP的输入，通过隐藏层和输出层进行预测。 长短期记忆(LSTM)：LSTM网络可以捕捉时序数据中长期依赖的特征，将多个序列输入LSTM网络，并使用LSTM的输出作为最终的预测结果。 双向长短期记忆(Bi-LSTM)：双向长短期记忆网络能够捕捉时...
示MLP、CNN、RNN、Transformer、BP神经网络等模型的关系
10-05
<think>首先，用户的问题是：“我想了解MLP、CNN、RNN、Transformer、BP神经网络等模型之间的关系”。用户指定了这些模型：MLP、CNN、RNN、Transformer、BP神经网络。 从系统指令中，我需要： - 所有行内数学表达式使用 $...$ 格式。 - 独立公式使用 $$...$$ 格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识，例如：[^1] 用户提供了引用内容： - 引用[1]：讨论了BP神经网络是DNN的基础，应用于CNN、RNN、Transformer等。 - 引用[2]：概述了神经网络的发展，包括感知机、BP算法到AlexNet和Transformer。 - 引用[3]：展示了使用BP神经网络的代码示例。 - 引用[4]：列出了各种神经网络分类方法。 用户提到这些引用仅供参考，我应该参考上一次的问题和回答。但在这个对话中，这是第一个用户查询，所以没有之前的上下文。上一次系统消息是示例："快速排序"，但那不是我生成的回答；它是示例。所以我需要基于当前问题回答。 关键是解释这些模型之间的关系： - **BP神经网络**：反向传播神经网络，是训练神经网络的基本算法。它是一种算法，不是一种特定架构。 - **MLP**：多层感知机，是最基础的前馈神经网络架构，通常使用BP进行训练。 - **CNN**：卷积神经网络，用于图像处理，使用卷积层，训练时用BP。 - **RNN**：循环神经网络，用于序列数据，训练用BP或其变体（如BPTT）。 - **Transformer**：基于自注意力机制，用于序列数据，也用BP训练。 关系： - BP神经网络指的是反向传播算法，这是一种训练方法，用于训练各种神经网络架构，包括MLP、CNN、RNN、Transformer。 - MLP是最简单的神经网络形式。 - CNN、RNN、Transformer是更高级的架构，针对特定任务设计，但都依赖于BP进行梯度计算和参数更新。 结构化回答： 1. **先介绍BP神经网络**：它是训练算法的核心。 2. **讨论MLP**：作为基础架构。 3. **扩展到CNN、RNN、Transformer**：它们如何构建在MLP上或使用BP。 4. **总结关系**。 使用中文回答。 包含数学表达式：例如，在解释BP时，可能有梯度下降公式。但要确保使用正确格式。 - 行内：$x^2$ - 独立：$$ \nabla J(\theta) = ... $$ 生成相关问题：在最后，类似示例，添加"§§相关问题§§"部分。 添加引用标识：在回答中，自然添加引用，如[^1]。用户提供了引用[1]到[4]，所以我应该根据内容引用它们。 例如： - 引用[1]提到BP是基础。 - 引用[2]讨论神经网络演进。 - 引用[3]是代码示例，可能不直接相关。 - 引用[4]是分类列表，可能用于说明多样性。 回答结构： - 清晰、逐步解释。 - 使用标题或小标题。 - 结束时生成相关问题。 大纲： 1. **引言**：简要介绍神经网络和BP的作用。 2. **BP神经网络**：什么是反向传播？它是训练方法。 3. **MLP**：多层感知机，基础架构。 4. **CNN**：卷积神经网络，扩展自MLP。 5. **RNN**：循环神经网络，处理序列。 6. **Transformer**：自注意力机制。 7. **关系总结**：它们都依赖BP训练。 8. **相关问题**。 数学表达式： - 在BP中，提到梯度：例如，权重更新：$ \theta_{new} = \theta - \alpha \nabla J(\theta) $ - 独立公式：如果需要，定义损失函数。 确保自然添加引用： - 例如："BP反向传播是训练神经网络的关键算法[^1]。" 最终回答应可靠，基于标准知识。 </think>### MLP、CNN、RNN、Transformer和BP神经网络之间的关系 在深度学习中，MLP（多层感知机）、CNN（卷积神经网络）、RNN（循环神经网络）、Transformer 和 BP（反向传播）神经网络是核心概念。它们之间的关系可以从基础架构、训练机制和应用场景三个方面来分析。以下逐步解释这些模型间的联系，确保内容清晰易懂。 #### 1. **BP神经网络：训练的核心算法** BP（Backpropagation，反向传播）神经网络不是一种独立的模型架构，而是一种训练神经网络参数的优化算法。它通过计算损失函数的梯度，并使用梯度下降法更新权重，从而最小化模型误差。核心思想是： - 前向传播计算输出。 - 反向传播计算梯度：$ \nabla J(\theta) = \frac{\partial J}{\partial \theta} $，其中 $ J $ 是损失函数，$ \theta $ 是模型参数。 - 权重更新：$ \theta_{new} = \theta - \alpha \nabla J(\theta) $，其中 $ \alpha $ 是学习率。 BP算法是几乎所有现代神经网络的基础训练机制，无论是简单MLP还是复杂Transformer，都依赖它进行参数优化[^1]。本质上，BP是“引擎”，驱动各类模型的训练过程。 #### 2. **MLP：基础的前馈神经网络** MLP（Multilayer Perceptron，多层感知机）是最基础的神经网络架构，通常由输入层、隐藏层（一个或多个）和输出层组成。每个神经元使用激活函数（如ReLU或Sigmoid）进行非线性变换。 - **关系**：MLP是BP算法的典型应用对象。在训练MLP时，BP用于计算梯度并更新权重。例如，在分类任务中，损失梯度通过链式法则反向传播到每一层。 - **数学表达**：对于第 $ l $ 层的输出 $ a^{(l)} = g(W^{(l)} a^{(l-1)} + b^{(l)}) $，其中 $ g $ 是激活函数，BP计算梯度 $ \frac{\partial J}{\partial W^{(l)}} $。 MLP是其他高级模型的起点，CNN、RNN和Transformer都可以视为MLP的扩展或变体[^2]。 #### 3. **CNN：处理空间数据的扩展** CNN（Convolutional Neural Network）专为图像和空间数据设计，引入了卷积层、池化层等结构，以提取局部特征。 - **关系**：CNN架构本身基于MLP的原理，但增加了共享权重机制（通过卷积核）。训练时，CNN完全依赖BP算法更新卷积核参数（Filters）。例如，卷积操作可表示为 $ y = \sum x * k + b $，其中 $ k $ 是卷积核，BP计算其梯度。 - **与BP的联系**：BP在CNN中的作用是优化卷积核权重，使其自动学习特征表示[^1]。 #### 4. **RNN：处理时间序列数据的扩展** RNN（Recurrent Neural Network）用于序列数据（如文本或时间序列），通过循环结构捕捉时序依赖。 - **关系**：RNN可看作是MLP在时间维度上的扩展，每个时间步共享权重。训练时，BP算法需要适应序列特性，衍生出BPTT（Backpropagation Through Time），即在时间轴上反向传播梯度。公式上，隐藏状态 $ h_t = f(W h_{t-1} + U x_t) $，BPTT计算梯度 $ \frac{\partial J}{\partial W} $。 - **与BP的联系**：尽管BPTT更复杂，但其核心仍是BP思想，用于更新RNN的权重矩阵[^1]。变体如LSTM和GRU也基于此。 #### 5. **Transformer：基于自注意力的革命性架构** Transformer利用自注意力机制（Self-Attention）处理序列数据，无需循环结构，能捕捉全局依赖。 - **关系**：Transformer架构包含多层编码器和解码器（类似MLP的堆叠），但以注意力机制为核心。训练时，它同样依赖BP算法计算梯度，例如通过Softmax输出和交叉熵损失进行梯度传播。 - **数学表达**：注意力权重计算为 $ \text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V $，BP用于优化这些权重参数[^1]。 - **与BP的联系**：Transformer是BP应用的现代示例，证明了BP在复杂模型中的普适性，支撑了BERT、GPT等大模型。 #### 6. **关系总结** 所有模型形成一个层级依赖关系： - **BP神经网络是训练基础**：作为通用算法，它训练MLP、CNN、RNN和Transformer的参数。 - **MLP是架构基础**：CNN、RNN和Transformer都从MLP派生，添加了特定模块（如卷积、循环或注意力）。 - **演进与应用**：MLP解决简单感知任务，CNN处理图像，RNN处理序列，Transformer取代RNN在NLP中领先。它们共享BP训练机制，但架构创新提升了性能[^2]。 这一关系框架展示了深度学习的发展：从基础BP算法驱动简单MLP，到针对数据特性（空间、时序）的CNN和RNN，再到基于注意力的Transformer，所有模型都植根于反向传播思想[^1][^2]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值