qq_40356092的博客

早些年很多深度学习的研究人员还在做着调参、炼丹的工作，随着深度卷积神经网络发展到现在，调参的工作渐渐地不被看重，甚至出现了很多自动调参的工具。本文就深度学习中经常使用的损失函数、优化器、学习率迭代策略等进行介绍。一、损失函数损失函数是指用于计算标签值和预测值之间差异的函数，对于不同的任务，使用的损失函数也不相同，在目标检测等领域，损失函数往往需要自己定义。1、L1 LossL1Loss 计算的是预测值和真实值之间绝对误差的平均数。公式如下所示：#pytorch代码torch.nn.L1Loss

一、introductionRes2Net由南开大学程明明组2019年提出，主要贡献是对ResNet模型中的block模块进行了改进，计算负载不增加，特征提取能力更强大。论文地址：Res2Net: A New Multi-scale Backbone Architecture二、网络结构回顾ResNet网络结构：https://blog.youkuaiyun.com/qq_40356092/article/details/109024375左图是ResNet网络中的block模块，右图是论文中新提出来的Res

一、introductionResNet是2015年提出来的深度学习网络模型，其主要解决的是网络层数过多导致的退化问题。过去的网络模型层数差不多在十几二十层，随着网络层数的增多，人们发现模型的准确率很难再有较大的提升，甚至会出现准确率下降的情况，而ResNet提出的残差网络有效解决了这一问题，使得网络层数达到了上百层。更重要的是，这一思想的提出，使得ResNet模型逐渐取代了VGG网络，几乎是当前应用最广泛的CNN特征提取网络，甚至影响了学术界和工业界未来的发展方向。随后提出的Res2Net和Dense

一、introduction不得不说pytorch的功能十分强大，其中torchvision.datasets已经内置了常用的数据集，我们也可以使用datasets.ImageFolder来加载我们自己的数据集。如果你觉得这两个方法都不能很好的加载你想要的数据集，也可以通过继承dataset类来自定义自己的数据集加载方式。本文主要介绍前两种加载数据集的方法，然后使用常见的卷积神经网络来训练并测试自己的数据集。二、加载数据集2.1 加载FashionMNIST数据集def load_FashionM

一、introduction在上一篇博客中提到了2014年分类比赛的第二名VGG，今天来自己动手搭建当年比赛的冠军GoogLeNet网络。tips：注意该网络中google的L是大写的，据说是为了致敬当年的LeNet。很巧的是，这两个卷积神经网络的特点都是加深了网络层数，而GoogLeNet在此基础上提出了Inception网络结构，这是一个稀疏网络结构，但是能够产生稠密的数据，既能增加神经网络表现，又能保证计算资源的使用效率。从2014年2016年，Inception经历了Inception v1、

一、introductionVGG网络是2014年ILSVRC2014比赛分类项目的第二名（其中第一名是GoogLeNet）。论文发表于2015年的ICLR，其主要贡献是使用多个较小的卷积核（如3 X 3）替代大卷积核，降低了卷积核的尺寸，增加了网络深度。证明了不断加深网络深度可以提高网络的性能。二、网络结构网上比较流行的网络结构如上图所示，通过对网络结构的评估，最终证明16层和19层的网络结构能够取得较好的识别精度。具体代码如下：import torchfrom torch import n

离线下载并安装python包下载离线包安装包及相应的依赖包由于实验室网络安全等问题，服务器关闭了和外网的接触，这就导致我们使用服务器时十分不方便，尤其是在安装第三方包时需要自己手动下载相关包并上传到服务器上。下载离线包这是一个十分方便的下载包的网址：https://pypi.org/在输入框中搜索我们要下载的第三方包，这里以numpy为例。可以看到搜索的第一个结果就是我们想要的，点进去之后就是关于numpy包的介绍，左边有三个按钮，分别是Project description（项目介绍）、Re

一、introduction回顾近几年来卷积神经网络的发展历史，我们必须要提到AlexNet卷积神经网络。这是Alex在2012年提出来的神经网络模型，赢得了当年的图像识别大赛冠军，首次证明了通过网络学习到的特征可以超越手工设计的特征，同时也奠定了CNN在处理图像分类任务上的地位。二、网络结构网上比较流行的网络结构如上图所示，由于当年计算能力的不足，AlexNet网络在训练时使用了两块GPU同时进行训练；随着现在硬件能力的提升，我们使用一块普通的GPU已经能够很快速地训练该网络。具体代码如下：i

Pytorch安装教程开发环境Anaconda安装CUDA 安装Pytorch安装附录近几年来，pytorch的发展速度越来越快，在github、优快云等开源网站上下载的源代码逐渐由tensorflow向pytorch转变。近期在看论文时需要对代码进行复现，在安装pytorch时遇到了很多问题，将整个过程写出来供大家借鉴学习。注：在进行安装的过程中，通过cmd命令框输入命令发现找不到文件，说明环境变量没有配置好。此方法不需要配置环境变量。开发环境python3.x （注意python3.8版本和

1、在Pytorch中，tensor是常用的存储和变换数据的主要工具，在编写代码的时候会涉及到大量的NumPy数组和Tensor之间的转换。2、Tensor常用的数据类型有五种： 32位浮点型：torch.FloatTensor。 64位浮点型：torch.DoubleTensor。 64位整型：torch.LongTensor。 32位整型：torch.IntTensor。 16位整型：torch.ShortTensor。其中torch.FloatTensor是默认的数据类型。3、view