jjw_zyfx的博客

CrossKD: Cross-Head Knowledge Distillation for Dense Object Detection翻译

Localization Distillation for Dense Object Detection翻译

Improving Object Detection by Label Assignment Distillation翻译

Efficient Multi-order Gated Aggregation Network翻译

arxiv 上引用参考文献

本文旨在解释深度伪造检测模型在仅由二进制标签做有监督时如何学习图像的伪迹特征。为此，从图像匹配的角度提出如下三个假设。1、深度伪造检测模型表明基于视觉概念的真/假图片既不与源图片相关也不与目标图片相关而是与伪迹图片相关。2、除了有监督的二进制标签，深度伪造检测模型通过训练集中的FST匹配（即匹配假、源、目标图像）隐式学习与伪迹相关的视觉概念。3、通过原始训练集中的FST匹配，隐式学习的伪迹视觉概念容易受到视频压缩的影响。在实验中，上述假设在各种DNN中得到了验证。进一步的，基于这种理解，我们提出了FST匹配

以前的方法混合两个不同的脸，并基于选定的源图像和目标图像之间的差异生成伪影。相比之下，我们的方法混合了来自单个图像的稍微变化的脸，并通过变换主动生成伪影。在本例中，我们对源图像应用颜色抖动、锐化、调整大小和平移，而不对目标图像进行任何变换。

摘要：        越深的神经网络是越难去训练的，我们展示了一种残差学习框架让网络的训练变得更简单，相比之前的网络我们的网络可以更深。我们明确的重新定义了层的概念，用层的输入学习残差函数，而不是学习无参考函数。我们提供了广泛的实验案例展示了残差网络是更容易去优化的，并且随着网络深度的增加能获得精度的提升，在ImageNet数据集上，我们评估一个深度达到了152层的残差网络–这个网络的深度是VGG网络的8倍但是仍然比VGG网络有更低的复杂度。在ImageNet测试数

先看代码def dropout_layer(X, dropout): """该函数以dropout的概率丢弃张量输入X中的元素 """ assert 0 <= dropout <= 1 # 在本情况中，所有元素都被丢弃。 if dropout == 1: return torch.zeros_like(X) # 在本情况中，所有元素都被保留。即不用丢弃 if dropout == 0: return X

交叉熵公式：H(p,q)=−∑plogqH(p,q) = - \sum plogqH(p,q)=−∑plogq为啥使用交叉熵，先看一组例子对比如果对于多分类的真实值的概率为q = [1, 0, 0, 0, 0] 可以理解为，[是猫,非猫,非猫,非猫,非猫]多分类的预测值的概率为(第一组)p = [0.4, 0.3, 0.05, 0.05, 0.2] 则计算交叉熵结果为：0.916如果预测值的结果为另一组(第二组)即p=[0.98, 0.01, 0, 0, 0.01]则交叉熵的结果为：0.02经过

根据YOLO版本或者论文顺序可以看出来，对于图像损失的计算先后出现了IOU、GIOU、DIOU、CIOU这几个版本其中IOU表示的是两个框的交集比上两个框的并集如图：IOU=A⋂BA⋃BIOU = \frac{A\bigcap B}{A\bigcup B}IOU=A⋃BA⋂B​只用IOU的缺点是如果两个框没有相交则IOU为0，则无法计算梯度所以他们想出了另一种GIOU:ςgiou=1−IoU+∣C−B⋃Bgt∣∣C∣\varsigma _{giou} = 1 - IoU+\frac{|C-B\bi

CoCo数据集特点：91个材料类别每张图片有5段情景描述对25万个人进行了关键点标注coco2017

看了好多关于L1、L2 正则化的文章，大多讲的比较正规(一堆数学公式)，今天我就从自己的理解角度谈谈我对L1、L2正则化的理解1、为啥要谈L1、L2 正则化，因为我发现学机器学习和深度学习都避免不了，人家会说正则化，会用一些正则化优化的策略，并且自己还怎么不懂2、当然学这些避免不了一些基础的公式比如：L1 正则化公式 f(w)=∣x1∣+∣x2∣+∣x3∣+∣x4∣+......f(w) = |x_1|+|x_2|+|x_3|+|x_4| + ...... f(w)=∣x1​∣+∣x2​∣+∣x3​