scarecrow_sun的博客

目录写在前面梯度下降Learing Rate(学习率)Learing Rate(学习率)的影响Learing Rate比较小Learing Rate较大写在前面当初在学习梯度下降和Learning Rate的时候，怎么理解都没有理解透这两个是一个什么样的过程，疑惑了很久很久，直到最近开始看李宏毅老师的深度学习的课程视频的第一节，给了我一种豁然开朗的感觉，因此记录下来梯度下降我们在进行模型训练的时候，首先会先将Loss(损失)先算出来，然后我们利用梯度下降法进行反向更新传递优化参数，使得我们Loss下

目录分类任务和检测任务的区别检测任务Bounding box分类任务和检测任务的区别分类任务：简单的对一个对象进行识别#mermaid-svg-UIXUsTQlQfbWfvVL .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-UIXUsTQlQfbWfvVL .label text{fill:#333}#m

目录BGR v.s RGB, NCHW v.s NHWCresnet50中最后一层是否要加bias偏置BGR v.s RGB, NCHW v.s NHWC在Opencv中：imread,imwrite and imshow 都是用的 BGR存储数据，储存类型用HWC储存在PIL(python)库中，使用的是BGR存储数据，同时用的是HWC储存在pytorch中，用PIL作为默认储存图片，但是会将BGR转化成RGB，储存方式是CHWpytroch中的 torch.utils.data.DataLoa

目录前言代码前言因为课程需要，老师要求使用resnet18或者resnet50将cifar10训练到精度到达95%，试过了网上其他很多方法，发现精度最高的是在预处理化的时候，图片resize到32,32，并且padding=4进行填充，并且优化器用SGD，准确率最高，但是准确率最高也是到88.8%。后来和上课的同学讨论，发现先将图片resize到(224,224)再进行翻转等操作可以稳定实现超过95%的准确率。代码废话不多说，直接上代码注：因为CPU训练速度太慢了，尤其是将图片拉到224,224这

目录损失（Loss）什么是损失函数例子：多分类SVM损失优化(Optimization)如何优化随机梯度下降法刚学完用resnet18训练数据实现cifar10分类，现在反过头来发现自己的损失函数，后向传播，梯度下降这一块的概念学的并不是很好，重新学习了一遍。损失（Loss）在我们训练模型的过程中，我们需要衡量这一个模型的参数是好还是坏，而衡量这一个模型参数的好坏就是看输出的损失。训练模型的过程中，会输出这一个模型对一个图片分类的预测标签，这一个预测标签和这一个图片的真实标签的差异就是我们所说的损失。

目录写在前面深度学习的大致过程过程一、图像预处理化函数定义二、数据导入三、模型搭建写在前面这一段时间上课在学习简单的神经网络，最后结课的时候要求搭建一个简单的网络模型，并训练识别几类交通标志牌。写下博客记录，供日后学习。这个简易模型可以根据不同的数据集实现对不同的类别的图片识别。但是层数只有三层，只能训练简易的数据集。深度学习的大致过程这段时间的学习下来，我理解的深度学习的流程大致如下：#mermaid-svg-fFPt69gL2zAJivwr .label{font-family:'trebuc