weixin_70972767的博客

LeNet-5模型是由杨立昆（Yann LeCun）教授于1998年在论文Gradient-Based Learning Applied to Document Recognition中提出的，是一种用于手写体字符识别的非常高效的卷积神经网络，其实现过程如下图所示。原论文的经典的LeNet-5网络结构如下：各个结构作用：卷积层：提取特征图的特征，浅层的卷积提取的是一些纹路、轮廓等浅层的空间特征，对于深层的卷积，可以提取出深层次的空间特征。

使用pytorch自定义一个简单的CNN模型return xprint("模型结构:\n", model)模型结构:SimpleCNN(上面代码虽然没有多大问题，但是看起来还是有点过于繁琐，推荐使用nn.Sequential 进行改进。是 PyTorch 中的一个容器类模块，用于按顺序组织多个神经网络层（nn.Module的子类），它会按照你添加的顺序依次执行这些层。是一个按顺序执行的神经网络模块容器，适合构建线性堆叠结构的模型，可以简化代码并使结构更清晰。# 定义简单的CNN模型。

池化（Pooling）是一种用于减少卷积神经网络（CNN）中特征图大小的操作。它通过将特征图上的局部区域进行聚合，得到一个更小的特征图。

局部连接指的是。

2.使用全连接网络训练和验证CIFAR10数据集。思考：为什么CIFAR10数据集的准确率很低？1.使用全连接网络训练和验证MNIST数据集。

训练一个模型通常需要大量的数据、时间和计算资源。通过保存训练好的模型，可以满足后续的模型部署、模型更新、迁移学习、训练恢复等各种业务需要求。

批量标准化（Batch Normalization, BN）是一种广泛使用的神经网络正则化技术，核心思想是对每一层的输入进行标准化，然后进行缩放和平移，旨在加速训练、提高模型的稳定性和泛化能力。批量标准化通常在或之后、激活函数之前应用。Batch Normalization（BN）通过对每一批（batch）数据的每个特征通道进行标准化，解决（Internal Covariate Shift）问题，从而：加速网络训练允许使用更大的学习率减少对初始化的依赖提供轻微的正则化效果。

而是需要根据具体的数据集进行统计计算。这些值是 ImageNet 数据集的统计结果，已成为计算机视觉任务的默认标准。

梯度下降算法通过不断更新参数来最小化损失函数，是反向传播算法中计算权重调整的基础。在实际应用中，根据数据的规模和计算资源的情况，选择合适的梯度下降方式（批量、随机、小批量）及其变种（如动量法、Adam等）可以显著提高模型训练的效率和效果。Adam是目前最为流行的优化算法之一，因其稳定性和高效性，广泛应用于各种深度学习模型的训练中。Adam结合了动量法和RMSProp的优点，能够在不同情况下自适应调整学习率，并提供快速且稳定的收敛表现。# 定义模型和损失函数# 模拟数据# 训练循环xW_1b_1。

当输出层使用softmax多分类时，使用交叉熵损失函数；当输出层使用sigmoid二分类时，使用二分类交叉熵损失函数， 比如在逻辑回归中使用；当功能为线性回归时，使用均方差损失-L2 loss；

在使用Torch构建网络模型时，每个网络层的参数都有默认的初始化方法，同时还可以通过以上方法来对网络参数进行初始化。ab+ab+n_%7Bin%7D。

激活函数的作用是在隐藏层引入非线性，使得神经网络能够学习和表示复杂的函数关系，使网络具备，增强其表达能力。

torchvision.transforms 和 torchvision.datasets 是 PyTorch 中处理计算机视觉任务的两个核心模块，它们为图像数据的预处理和标准数据集的加载提供了强大支持。在 PyTorch 中官方提供了一些经典的数据集，如 CIFAR-10、MNIST、ImageNet 等，可以直接使用这些数据集进行训练和测试。它定义了数据集必须实现的方法。的一个简单实现，它封装了张量数据，适用于数据已经是张量形式的情况。在训练或者验证的时候，需要用到数据加载器批量的加载样本。

(Deep Learning)是神经网络的一个子领域，主要关注更深层次的神经网络结构，也就是所以，我们需要先搞清楚什么是神经网络！

自动微分模块torch.autograd负责自动，具有自动求导功能。自动微分模块是构成神经网络训练的必要模块，可以实现网络权重参数的更新，使得反向传播算法的实现变得简单而高效。

的顺序存储，即先存列，后存行。例如，对于一个二维张量 A，其形状为 (m, n)，其内存布局是先存储第 0 行的所有列元素，然后是第 1 行的所有列元素，依此类推。如果张量的内存布局与形状完全匹配，并且没有被某些操作（如转置、索引等）打乱，那么这个张量就是。

调用numpy()方法可以把Tensor转换为Numpy，此时内存是共享的。使用传统的torch.tensor()则内存是不共享的~使用copy()方法可以避免内存共享。使用copy()方法可以避免内存共享。

PyTorch会将数据封装成张量（Tensor）进行计算，张量就是元素为相同类型。张量可以在GPU上加速运行。

张量有device、dtype、shape等常见属性。