武大深度学习期末复习-常见神经网络概念

⁡⁢琛歌

于 2024-05-28 23:10:44 发布

阅读量1.1k

点赞数 23

文章标签：深度学习神经网络人工智能

本文链接：https://blog.youkuaiyun.com/qq_50860232/article/details/139278254

版权

深度学习经典神经网络概念、优缺点及应用场景

一、多层感知机（MLP）

1.1 结构和原理

由多个全连接层组成，每个层都与前一层的所有神经元连接。
通过一系列非线性变换将输入数据映射到输出。常用于分类和回归任务。

1.2 优缺点

优点

灵活性： MLP 可以适用于各种数据类型和任务，包括分类、回归和特征学习等。
强大的拟合能力：多层结构允许 MLP 学习复杂的非线性关系，因此在处理复杂数据模式时表现良好。
通用性：可以通过调整网络结构和参数来适应不同的问题和数据集。
并行计算：在训练时，由于每个神经元之间的独立计算，可以进行高效的并行计算，加速训练过程。

缺点

容易过拟合：当网络过于复杂或数据量不足时，MLP 容易过拟合训练数据，导致泛化能力下降。
对数据预处理敏感：对输入数据的缩放和标准化要求较高，不同尺度和分布的数据可能会影响网络的性能。
需要大量数据和计算资源：对于复杂的网络结构和大规模的数据集，训练 MLP 需要大量的数据和计算资源。
不适用于序列数据： MLP 不擅长处理序列数据，因为它无法捕捉数据的时序信息。

1.3 应用场景

图像分类： MLP 在图像分类任务中广泛应用，例如手写数字识别、物体识别等。
语音识别：用于语音识别任务，例如说话人识别、语音指令识别等。
自然语言处理：在文本分类、情感分析和命名实体识别等自然语言处理任务中有所应用。
推荐系统：用于个性化推荐系统，根据用户的历史行为和偏好进行商品或内容推荐。
金融领域：在金融领域用于信用评分、风险管理和股票预测等任务。

二、卷积神经网络（CNN）

2.1 结构和原理

包含卷积层、池化层和全连接层。卷积层用于提取局部特征，池化层用于减小特征图的尺寸，全连接层用于分类。
通过卷积和池化操作提取图像等数据的特征，然后通过全连接层进行分类或回归。

2.2 优缺点

优点

局部连接和权值共享： CNN 使用局部连接和权值共享的方式有效地减少了网络参数数量，降低了计算复杂度，提高了训练效率。
*局部连接：在传统的全连接神经网络中，每个神经元都与前一层的所有神经元相连。而在CNN中，每个神经元只与前一层的局部区域连接。例如，在图像处理中，一个神经元只负责处理图像的一个小区域，而不是整个图像。这样做的好处是减少了参数数量，降低了计算复杂度，并且能够更好地保留空间局部特征
*权值共享：在CNN中，每个神经元的权重参数在不同的位置上都是共享的。这意味着在处理不同的图像区域时，神经元使用相同的权重来提取特征。例如，当一个神经元识别边缘特征时，它在图像的不同位置使用相同的权重来检测边缘。权值共享有助于减少模型的过拟合风险，提高了模型的泛化能力，并且使得CNN更适合处理具有平移不变性的数据，如图像。
对平移不变性的学习： CNN 通过卷积操作学习特征，具有对平移不变性的能力，适合处理图像等具有空间局部相关性的数据。
层次化特征学习： CNN 的多层结构允许逐层提取和组合特征，从而实现层次化的特征学习，有助于捕捉数据的抽象特征。
适应不同大小的输入：由于使用卷积和池化操作，CNN 能够处理不同尺寸的输入数据，具有一定的尺度不变性。
在图像处理任务上表现出色：在图像分类、物体检测、语义分割等图像处理任务上表现出色。

缺点