keep_keeprogress的博客

Deformable Convolution可变形卷积，由微软亚洲研究院提出。

神经网络能够在同样的计算资源下获得更强的表征能力和更优的性能表现。

传统的卷积神经网络参数量大，导致预测时算力大，对于手机、嵌入式等移动设备来讲部署慢且占用空间，无法满足需求。2017年，Google提出的移动端高效率模型MobileNet：相比VGG16，分类准确率下降了0.9%，但是模型参数仅仅是VGG16的1/32到1/33。

深层网络有个梯度消失问题：模型变深时，其错误率反而会提升，该问题非过拟合引起，主要是因为梯度消失而导致参数难以学习和更新。

卷积核的尺寸等于1的特例，用来做升维和降维，减少参数量，改变通道数，通道间的特征融合。

VGG的亮点在于它通过堆叠多个卷积层，以小的卷积核和池化层的方式来增加网络深度，从而实现高精度的图像识别。这种方法可以有效地捕获图像中的高级特征，并通过不断拟合训练数据来提高识别准确率。

ImageNet大规模视觉挑战赛(ILSVRC)被称为深度学习在图像分类任务研究方面进展的标杆。AlexNet网络参加了ILSVRC2012年大赛获得冠军（超过第二名10%的性能），掀起了一波深度学习的浪潮，。

​​super(LeNet5s, self).__init__() # 继承父类# 第一个卷积层nn.Conv2d(in_channels=1, # 输入通道out_channels=6, # 输出通道kernel_size=5, # 卷积核大小),nn.ReLU(),# 池化：平均池化​# C3:3通道特征融合单元# C3:4通道特征融合单元​# C3:4通道特征融合单元，剔除中间的1通道​# C3:6通道特征融合单元​# S4:池化# 全连接层​。

import os#导入需要的模型，如果是自己训练的模型要在同目录下#生成验证数据#关闭科学计数法打印#路径兼容处理#验证过程记录表格路径#1.验证数据transform=transforms.Compose([transforms.ToTensor(),transforms.Resize(32)#输入是32]))#2.模型：训练好的模型#初始化到模型#移到GPU上#3.使用训练好的模型对验证数据进行推理，看效果accuracy=0#总的数据保存#使用模型对数据进行推理。

三大要素：数据、算法（神经网络）、算力。

池化层 (Pooling) ： 主要对卷积层学习到的特征图进行下采样（SubSampling）处理，可以降低空间维度, 缩减模型大小，提高计算速度。分类：1.最大池化max pooling：从每个局部区域中选择最大值作为池化后的值，可以保留局部区域中最显著的特征，在提取图像中的纹理、形状等方面具有很好的效果。2.平均池化 avgpooling：从每个局部区域中取平均值作为池化后的值，可以得到整体特征的平均值，在提取图像中的整体特征、减少噪声等方面具有较好的效果。

Batch Normalization （批量归一化）是经常使用一个网络层，其主要的作用是控制数据的分布，加快网络的收敛原因：神经网络的学习其实在学习数据的分布，随着网络的深度增加、网络复杂度增加，一般流经网络的数据都是一个 mini batch，每个 mini batch 之间的数据分布变化非常剧烈，这就使得网络参数频繁的进行大的调整以适应流经网络的不同分布的数据，给模型训练带来非常大的不稳定性，使得模型难以收敛。

动量项更新：利用当前梯度和历史动量来计算新的动量项。权重参数更新：利用更新后的动量项来调整权重参数。梯度计算：在每个时间步计算当前的梯度，用于更新动量项和权重参数。没有对学习率进行优化。

输出层-softmax多分类，使用交叉熵损失函数输出层-sigmid二分类，使用二分类交叉熵损失函数线性回归-smoothL1损失函数/均方差损失L2Loss。

人工智能：为机器赋予人的智能机器学习：一种实现人工智能的方法深度学习：一种实现机器学习的技术传统机器学习算法依赖于人工设计特征、提取特征，而深度学习模仿人脑的运行方式，从大量数据中学习特征，依赖算法自动提取特征，可解释性差。常用于：图像处理，自然语言处理，语音识别，自动驾驶，LLM，机器人。

loss=nn.MSELoss()#均方误差工具e=loss(y_true,y_pred)#计算损失print(e)

torch.autograd模块：自动微分模块，自动计算张量操作的梯度，可以自动求导实现权重参数的更新。

Tensor：多维数组，用于存储和操作数据。

PyTorch会将数据封装成张量（Tensor）进行计算，所谓张量就是元素为相同类型的多维矩阵。张量可以在 GPU 上加速运行。