abcdrachel的博客

在优化器中有很多超参数，如学习率、momentum等。其中学习率直接控制参数更新的一个大小，在整个训练当中，学习率也不是一成不变的。为什么要调整学习率？学习率是直接控制更新的步伐，从梯度下降的公式可以看出，参数更新中是学习率乘以一个梯度（更新量），在这里学习率直接控制了参数更新的大小。一般我们在刚开始训练时，学习率会设定比较大，让更新步伐较大，到了后期，学习率LR会下降，让参数更新的步伐变...

1、什么是优化器？首先我们回忆一下机器学习的五大模块：数据、模型、损失函数、优化器、迭代训练在损失函数中我们会得到一个loss值，即真实标签与预测标签的差异值，对于loss我们通常会采用pytorch中的autograd自动求导机制进行求导，优化器拿到每个参数的导数会根据优化策略去更新我们的模型的参数，并使得模型的loss值呈下降趋势。因此优化器的主要作用是采用梯度去更新我们模型中的可...

正确的权值初始化可以加快模型的收敛，不恰当的初始化会引发梯度消失和爆炸梯度消失与爆炸不恰当初始化如何引起梯度消失和爆炸的：下面是三层的全连接网络，我们来看第二个隐藏权值梯度是如何求取的X 如果，则，从而导致了梯度消失；如果，则，从而导致了梯度爆炸。一旦引发...

卷积运算：卷积核在输入信号（图像）上滑动，相应位置上进行乘加。卷积核：又称为滤波器，过滤器，可认为是某种模式，某种特征卷积过程类似于用一个模板去图像上寻找与它相似的区域，与卷积核模式越相似，激活值越高，从而实现特征提取。AlexNet卷积核可视化，发现卷积核学习到是边缘、条纹、色彩这一些细节模式，这也印证了卷积核是某种特征提取器，而具体是哪一种特征、哪一种学习器完全是由模型决定的。...

模型模块包括两部分：模型创建与权值初始化；模型创建又包括构建网络层（卷积层、池化层、激活函数层等）和拼接网络层（LeNet、AlexNet、ResNet等）；权值初始化有Xavier、Kaiming、均匀分布、正态分布等。LeNet网络结构运算示意图nn.moduletorch.nn.Parameter：张量子类，表示可学习参数，如weight、bias torch...

数据增强数据增强又称为数据增广，数据扩增，它是对训练集进行变换，使训练集更丰富，从而让模型更具泛化能力。 数据增强 ---> 如我们高考之前做的五年高考，三年模拟一 、 transforms. -- crop1. transforms.CenterCrop（size）功能：从图像中心裁剪图片 size：所需裁剪图...

学习pytorch数据读取机制中两个重要模块dataloader与Dataset：通过一个人民币分类实验来学习pytorch是如何从硬盘中读取数据的，并深入学习数据读取中涉及的两个模块DataSet与Dataloader；熟悉数据预处理处理transforms方法的运行机制：数据在读取到pytorch之后通常都需要对数据进行预处理，包括尺寸缩放、转换张量、数据中心化或标准化等等，这些操作都是通...

对pytorch的自动求导系统中常用两个方法：torch.autograd.back和torch.autograd.grad进行介绍torch.autograd.backward(tensors,grad_tensors=None,retain_graph=None,create_graph=False)tensors：用于求导的张量，如loss retain_graph：保存计算图 ...

张量的操作：拼接、切分、索引和变换1张量的拼接与切分1.1 torch.cat(tensors,dim=0,out=None) 功能：将张量按维度dim进行拼接 tensors：张量序列 dim：要拼接的维度1.2 torch.stack(tensors,dim=0,out=None)功能：在新创建的维度dim上进行拼接 tensors：张量序列 dim：要拼接的维度...