gs1we1的博客

关于项目的基本介绍。本项目实现的是对猫科动物的划分，划分的物种有猫、狗、野生三种分类，属于小颗粒度分类大颗粒度分类：以物种作为分类，比如飞机、青蛙、狗、猫、马、鹿等。实体颗粒度分类：具体到具体的人，比如指纹识别、人脸识别等具体的个体，具体的实体​ 本项目旨在使用卷积神经网络（CNN）进行图像分类任务。我们将使用 LeNet5（衍生） 模型来训练一个可以区分猫、狗和野生动物的分类器。项目中包括了数据预处理、模型训练、测试、验证以及单张图片推理等功能。问题。

通过之前的课程，了解并学习了MobileNetV1和MobileNetV2的相关内容和网络节点，这一章节学习MobileNetV3的相关内容，在现在比较流行一些边缘终端上，以MobileNetV3为识别网络或者为骨干网络是比较常用的，下图是MobileNetV2和MobileNet3的比较图，横坐标是在在谷歌自己做的Pixel 1手机上的延迟，纵坐标是准确率，可以看出，在相同延时下，MobileNet V3准确率更高。

传统的卷积神经网络参数量大，导致预测时算力大，对于手机、嵌入式等设备来讲是不行的，例如VGG16大概有490M，ResNet的152层模型有644M，这种是不能在移动端部署的时候不但慢还暂用空间，就无法满足手机、人脸识别打卡机等。2017年，Google提出的移动端高效率模型MobileNet：相比VGG16，分类准确率下降了0.9%，但是模型参数仅仅是VGG16的1/32到1/33。

​ 深层网络有个梯度消失问题：模型变深时，其错误率反而会提升，该问题非过拟合引起，主要是因为梯度消失而导致参数难以学习和更新。

卷积核的尺寸等于1的特例，来自《Network in Network》。

​ VGG的亮点在于它通过堆叠多个卷积层，以小的卷积核和池化层的方式来增加网络深度，从而实现高精度的图像识别。这种方法可以有效地捕获图像中的高级特征，并通过不断拟合训练数据来提高识别准确率。

论文地址：https://arxiv.org/abs/1404.5997。

模块的思想nn.Conv2d(stride=1,padding=0,# 业务逻辑的实现# 通过这个i我们可以拿到ModuleList中的对应的卷积层# 拿到3输入通道 s[N, (i, (i + 3)%6), H, W] 4:0---->[4,5,0]# 针对5去1的处理# 先变成5个# 再去掉中间的# 使用卷积层对数据进行卷积操作# 拼接到总的输出通道# 网络层nn.Conv2d(),# 自适应的做到14 * 14# C3# S4：自适应池化# C5# 输出层。

通过上述表格，我们可以清楚地看到 GoogLeNet 的前几层是如何逐步处理输入图像的。每个卷积层和池化层都有明确的参数设置，确保了网络能够有效地提取特征并减少计算量。特别是 Inception 模块的设计，通过引入不同大小的卷积核和池化操作，使得网络能够在多个尺度上捕捉图像特征，同时利用1x1卷积核进行降维，减少了参数数量，提高了计算效率。

​ Open Neural Network Exchange（ONNX，开放神经网络交换）格式，是一个用于表示深度学习模型的标准，可使模型在不同框架之间进行转移。​ ONNX的规范及代码主要由微软，亚马逊 ，Face book 和 IBM等公司共同开发，以开放源代码的方式托管在Github上。目前官方支持加载ONNX模型并进行推理的深度学习框架有： Caffe2, PyTorch, PaddlePaddle， TensorFlow等。

用到什么包，临时引入就可以，不用太担心。

我们可以把预测结果全部记录下来，以观察其效果，用于分析和评估我们的模型情况。

​ 免费，成本低PyTorch： https://pytorch.org/vision/stable/datasets.html开源数据集imagenet：https://image-net.org/Hugging Face数据集：https://huggingface.co/datasetskaggle数据集下载网址：https://www.kaggle.com/datasets各种网站：https://public.roboflow.com/https://zhuanlan.zhihu.com/p/6

这是一层卷积层nn.ReLU(),nn.ReLU(),

池化层 (Pooling) 降低维度, 缩减模型大小，提高计算速度. 即: 主要对卷积层学习到的特征图进行下采样（SubSampling）处理。池化层主要有两种:最大池化 max pooling最大池化是从每个局部区域中选择最大值作为池化后的值，这样可以保留局部区域中最显著的特征。最大池化在提取图像中的纹理、形状等方面具有很好的效果。平均池化 avgPooling平均池化是将局部区域中的值取平均作为池化后的值，这样可以得到整体特征的平均值。

​ 卷积神经网络是深度学习在计算机视觉领域的突破性成果。在计算机视觉领域, 往往我们输入的图像都很大，使用全连接网络的话，计算的代价较高。另外图像也很难保留原有的特征，导致图像处理的准确率不高。​ 卷积神经网络（Convolutional Neural Network，CNN）是一种专门用于处理具有网格状结构数据的深度学习模型。最初，CNN主要应用于计算机视觉任务，但它的成功启发了在其他领域应用，如自然语言处理等。

，你可以使用类似的公式来计算池化后的输出尺寸。如果你在卷积层后添加了池化层（例如。我们可以根据上述公式计算。假设我们有一个输入张量。

鲍勃开了自己的手机公司。他想与苹果、三星等大公司展开硬仗。他不知道如何估算自己公司生产的手机的价格。在这个竞争激烈的手机市场，你不能简单地假设事情。为了解决这个问题，他收集了各个公司的手机销售数据。鲍勃想找出手机的特性(例如:RAM、内存等)和售价之间的关系。但他不太擅长机器学习。所以他需要你帮他解决这个问题。在这个问题中，你不需要预测实际价格，而是要预测一个价格区间，表明价格多高。

​ 在训练深层神经网络时，由于模型参数较多，在数据量不足时很容易过拟合。而正则化技术主要就是用于防止过拟合，提升模型的泛化能力()和鲁棒性（

​ 梯度下降算法通过不断更新参数来最小化损失函数，是反向传播算法中计算权重调整的基础。在实际应用中，根据数据的规模和计算资源的情况，选择合适的梯度下降方式（批量、随机、小批量）及其变种（如动量法、Adam等）可以显著提高模型训练的效率和效果。​ Adam是目前最为流行的优化算法之一，因其稳定性和高效性，广泛应用于各种深度学习模型的训练中。Adam结合了动量法和RMSProp的优点，能够在不同情况下自适应调整学习率，并提供快速且稳定的收敛表现。

网络参数初始化return x网络结构：定义了一个包含两个全连接层的简单神经网络。前向传播：计算输入数据通过网络的输出。损失计算：计算输出与目标之间的均方误差损失。反向传播：计算损失函数关于每个参数的梯度。参数更新：使用优化器更新网络参数。

当输出层使用softmax多分类时，使用交叉熵损失函数；当输出层使用sigmoid二分类时，使用二分类交叉熵损失函数， 比如在逻辑回归中使用；当功能为线性回归时，使用smooth L1损失函数或均方差损失-L2 loss；

在使用Torch构建网络模型时，每个网络层的参数都有默认的初始化方法，同时还可以通过以上方法来对网络参数进行初始化。

我们来整一个小小的案例，帮助加深对知识点的理解~

自动微分模块torch.autograd负责自动计算张量操作的梯度，具有自动求导功能。自动微分模块是构成神经网络训练的必要模块，可以实现网络权重参数的更新，使得反向传播算法的实现变得简单而高效。

张量有device、dtype、shape等常见属性，知道这些属性对我们认识Tensor很有帮助。

​ PyTorch是一个基于Python的深度学习框架，它提供了一种灵活、高效、易于学习的方式来实现深度学习模型。PyTorch最初由Facebook开发，被广泛应用于计算机视觉、自然语言处理、语音识别等领域。​ PyTorch使用张量（tensor）来表示数据，可以轻松地处理大规模数据集，且可以在GPU上加速。