Datawhale AI夏令营 --深度学习进阶--Task3-优快云博客

误差表面（或损失表面）是由神经网络的参数决定的损失函数在参数空间中的图像。当误差表面非常崎岖时，训练过程中的梯度下降算法容易陷入局部最优解，或者由于不同方向的斜率差异较大而导致训练速度非常缓慢。
批量归一化（Batch Normalization, BN） 的作用之一是减轻误差表面的崎岖程度，使得模型更容易优化。通过对每一层的输入数据进行归一化处理，BN可以使得参数更新更加稳定，从而有助于减少在不同方向上的斜率差异，也就是说，BN可以“铲平”误差表面的山峰和谷底，使得优化过程更加高效。
具体来说，BN通过将每一层输入的分布保持在一个固定的范围内，减少了因输入分布的变化（即“协变量偏移”）而导致的训练不稳定性。这不仅加速了训练过程，还可能提高模型的泛化能力。

在这里插入图片描述
该图展示了在深度神经网络中通过批量归一化来平滑和标准化每一层的特征，以确保不同维度的特征值在激活函数之前处于相对相似的范围，从而减少训练中的梯度消失或爆炸现象，提高网络的训练效果。批量归一化是深度学习中非常重要的技术，它能够加速训练收敛并提高模型的泛化能力。
批量归一化可以理解为网络的一部分
卷积神经网络（Convolutional Neural Network, CNN）是深度学习中一种重要的网络结构，广泛应用于图像识别、自然语言处理等领域。

通道（Channel）
在图像处理中，通道指的是图像数据的不同颜色层或特征层。例如，彩色图像通常有三个通道（RGB通道），分别对应红色、绿色和蓝色。在卷积神经网络中，随着网络的深入，特征图（Feature Map）会有越来越多的通道，这些通道代表了通过卷积层提取到的不同特征。
全连接层（Fully Connected Layer）
全连接层是卷积神经网络中的一个重要部分，通常位于网络的末端。它的作用是将前面卷积层和池化层提取的高层次特征映射到最终的输出类别上。在全连接层中，每一个神经元都与上一层的所有神经元相连。这意味着全连接层可以组合来自不同特征图的信息，用于最后的分类或回归任务。
感受野（Receptive Field）
感受野指的是网络中的某个神经元所“看到”的输入区域。在卷积神经网络中，感受野的大小决定了该神经元能够感知的输入图像区域的范围。随着网络的层数增加，感受野会变得越来越大，这使得网络能够捕捉到图像中的全局信息。感受野的大小通常取决于卷积核的大小、步幅（stride）、以及池化操作的配置。
卷积核（Convolutional Kernel or Filter）
卷积核是卷积层中的一个小矩阵，用来在图像上滑动，执行卷积操作。卷积操作本质上是计算卷积核与输入图像的局部区域的点积，并将结果作为输出特征图中的一个元素。卷积核的大小通常较小（例如3x3或5x5），但它可以在整个图像上移动（滑动），提取局部特征。多个卷积核可以用于同一层，每个卷积核会提取不同类型的特征（如边缘、角点、纹理等）。
卷积层（Convolutional Layer）
卷积层是卷积神经网络的基础组件，它通过卷积操作提取输入图像的特征。每个卷积层由多个卷积核组成，这些卷积核可以捕捉到输入数据中的局部模式（如边缘、线条、颜色变化等）。卷积层通过叠加多个层次的特征图，逐渐从低级特征（如边缘）提取到高级特征（如物体的部分或形状）。

6.实际操作–HW4(Self-Attention)自注意力机制 -声音分类

#导入需要导库
import torch  # 导入PyTorch库
from torch.utils.data import DataLoader, random_split