AMWICD的博客

主要是MultiScaleDeformableAttention包，如果中途换了torch版本，需要重新编译cuda，得到一个新的这个包，不然报错。下载链接：https://download.youkuaiyun.com/download/u010826850/21980492。deformable-detr 也是需要一个背景类，num_class+1。python test.py （我没运行这一步）r50上coco数据集训练结果文件。参考其他博主博文里的。

up在yolo3代码的基础上进行修改，并简化了训练过程（移除了一些效果不大的trick）原作者文档中写了如何去训练自己的数据集：1.首先将数据标注成Darknet format（yolo格式）每个txt文件就对应一张图片的信息，每一行表示一个目标。第一个数字：目标索引（如0：人类）后四个数字：目标边界框的相对坐标2.创建txt文件：train.txt文件和test.txt文件。txt文件中存储的是所有训练/验证时使用到的图片的路径。3.以.names结尾的标签文件。

x 5（采用5个anchor）5（5个参数）+20（每个anchor分别对应20个类别的概率分数）=25之前是直接预测，这里是基于anchor的偏移预测。

如：天空coco包含pascal voc 的所有类别，并且对每个类别的标注目标个数也比pascal voc的多。一般使用coco数据集预训练好的权重来迁移学习。如果仅仅针对目标检测object80类而言，有些图片并没有标注信息，或者有错误标注信息。所以在实际的训练过程中，需要对这些数据进行简单筛选。为什么之前那些都没在测试集上测试？自己去训练自己数据的话，只需要训练集和验证集测试就行，并不需要单独划分一个测试集。

若一个 GT 有多个预测边框，则认为 IOU 最大且大于等于 0.5 的预测框标记为 TP，其他的标记为 FP，即一个 GT 只能有一个预测框标记为 TP。FN就是 把检测对象检测为背景的 那些检测框 的数量，也就是一些被检测错误（F）为负样本（N）的样本，它们本来应该被检测为正样本。因为预测的两个边界框预测的目标都是第一只猫，所以ID都是1，预测给出的数值是置信度，不是IOU，IOU是预测框与真实框的交并比。如果这两个差距很小的话，可以减少检测的目标个数，可以提高一些目标检测的效率。

先略，等我听懂之后再写参考pytorch样例。

关于transformer与图像分类的文章参考：https://blog.youkuaiyun.com/qq_40688292/article/details/112540486关于transformer更具体的学习：（bilibili霹雳吧啦Wz）：Transformer原论文：Attention is all you needTransformer：最开始是针对NLP自然语言处理领域。RNN记忆长度有限，所以后面有人提出LSTM，但它无法并行化（必须计算t0才能计算t0+1时刻的数据）。而Transforme

又因为每个卷积核与输入特征矩阵的一个channel进行卷积之后，得到一个输出特征矩阵的channel，则输出特征矩阵的深度与卷积核的个数相同，进一步与输入特征矩阵的深度相同。因为每个卷积核只负责一个channel，则采用的特征矩阵的深度就应该与输入特征矩阵的深度相同，这样即可确保每一个卷积核负责一个channel。由上图可以看出，每个卷积核的深度与输入特征矩阵的深度相同，输出特征矩阵的深度与卷积核的个数相同。1x1的卷积层：采用降维操作，所采用的卷积核个数为k’，所以将特征矩阵的深度变为k’。

faster rcnn：在预测特征图上通过rpn网络生成得到一系列proposal，把proposal映射到特征图上，再将映射的这部分特征输入fast rcnn，得到最终的预测结果。针对每一个backbone的特征图都会先用1x1的卷积层处理 ----> 调整backbone上不同特征图的channel统一。将一张图片输入给backbone，在backbone镜像传播中得到不同的特征图上分别进行预测。将图片通过backbone得到最终的特征图，在最终的特征图上进行预测。不同的特征图都是有一定要求的。

比较通用的信息，在本网络中适用，在其他网络中也适用。将浅层网络中的一些参数迁移到新的网络中来，则新网络也有了识别底层特征的能力。则新网络可以更加快速地学习数据集的高维特征。

像AlexNet、VGG这种网络，都是串行结构。将一系列卷积层和池化下采样层进行串联。在上一层输出之后，将所得到的特征矩阵同时输入四个分支当中进行处理。将所得到的四个分支的特征矩阵按照深度进行拼接，得到输出特征矩阵。第一个分支：卷积核大小为1x1的卷积核第二个分支：……3x3……第三个分支：……5x5……第四个分支：池化核为3x3的最大池化下采样每个分支得到不同尺度的特征矩阵，矩阵高维度、宽维度相同，否则无法沿深度方向拼接。多了三个1x1的卷积层，均起到降维的作用。

采用多个小的卷积核进行堆叠，得到的感受野大小相同，这可以去替代一个大的卷积核，可以节省网络的训练参数的个数。如果是基于迁移学习的方式使用再训练的话，则就要减去这三个值。因为预训练的模型是基于ImageNet训练的。模型比较大，但是这里的flowers数据集比较小，没法充分训练，这里不运行了。但此处的网络没有这么操作，因为是从头开始训练的。跟之前的AlexNet网络的预测过程是一样的。其余的跟AlexNet里面的训练方法一样。1、全连接层前：提取特征网络的结构。使用时用的是D的配置，十六层。

padding[1,2]是左边1右边2Sequential：之前每使用一个层结构，都要self.模块名称=……，如果每个模块都这么定义，那么工作量太大。对网络层次比较多的网络，可以使用Sequential函数来精简代码Conv2d关于padding：①整数：如1，则会在矩阵上下左右补一行/列0；②tuple：③：nn.ZeroPad2d 精确补0在卷积过程中，如果按照公式计算得到的不是整数：ReLUinplace：pytorch中增加计算量，但能减小内存容量的方法。

inchannel32，outchannel64，大小没有变所以padding2。可以在每一轮训练后进行测试，在测试集上跑一边，利用在测试集输出的正确率来衡量。原来文件开头不能用数字打头，重新建了一个文件就好了。但是前面写的代码都没用这种模式，依旧可以训练、测试。预测错了，哈哈哈哈，但是总体思路就是这样。3,32,5,1(默认),(输入32。32，经计算此处padding为2)分别是把模型设置成训练模式、测试模式。这里就不调优了，就利用现有的模型来。210，而上面模型的输入是32。把64个4*4的展平。

目标检测和图像分割挺像。有人把这两个结合，做出了不错的效果。pytorch.org 但是中文文档版本比较老所需环境。

师兄说学目标检测之前先学分类坏了，内容好多！学学学感谢up主，好人一生平安什么是混淆矩阵：横坐标：每一列属于该类的所有验证样本。每一列所有元素对应真实类别。纵坐标：网络的预测类别。每一行对应预测结果属于该类的所有样本。对角线：预测正确的样本个数。预测值在对角线上分布的越密集，模型的性能就越好。还能通过混淆矩阵看到这个网络对哪些类别更容易分类出错。混淆矩阵的指标：精确率precision不等于准确率accuracy！！准确率：所有预测正确的样本个数 / 所有用于验证的样本个数（

Two Stage检测过程分两步走前景：需要检测的目标背景：不感兴趣的生成候选框：将感兴趣目标框选出来，但是没有进行分类具体使用哪一种，根据项目需求自己写一个dataset，而不是使用pytorch提供的一些方法读取图像文件候选框坐标参数。最终预测框坐标参数d：通过全连接层输出的边界框回归参数通过公式看出，dx、dy是调整候选边界框中心坐标的回归参数。橙色框 --> 红色框绿色框：ground-truth框？用来计算损失？

1。

1、file-settings-Tools-terminal-shell path改成cmd那个。2、或者：在local旁边的下箭头选择command prompt 但是这个我没试过。要在（pytorch）里面下载。,然后pip list就能看到。重启pycharm就好了。

target不是标签，是标签存放的位置，标签列表是calsses，真正的标签是classes[target]将drop_last设置为True，可以看到把数据集最后的部分进行舍去。（一定要给add.images里面改名！把数据集每一部分都变成tensor类型。现在输出的就是tensor数据类型了。剩余的数据集只有16张，不足64张。第几次取数据的时候，数据长什么样。一般把imgs作为神经网络的输入。把shuffle改为False。把shuffle改为True。可以看到取的都是一样的。

transforms主要对图片进行一些变换。

transform 主要是对input图像进行变换（统一尺寸、对图像中的数据进行类的转换）TensorBoard，虽然他是TensorFlow 的一部分，但是可以独立安装，并且服务于Pytorch等其他的框架。安装tensorboard但是这里tensorboard版本太低了，以下方法解决↓在pip list查看将tensorboard的事件文件放在logs文件夹里面。

假设这个train文件夹里面只有ants_image和bees_image。用图片名字命名txt文件，内容是这个图片的分类。可以看到这段代码成功地从数据集里面取出了图片。只以ant为例，bee的就是把这个改改。因为图片太多了，所以用代码自动添加。

1、与TensorFlow区别2、常用网络层。