passer__的博客

对于夜间图像的分割有两个比较大的挑战:一个是光照比较差，一个是人工比较难标注。本文提出来的新的域适应网络DANNet，它使用标记的白天的数据集(Cityscapes)和未标注的白天、黑夜数据集(Dark Zurich)。具体来说，对于未标记的白天、黑夜的图片，使用白天图像上的静态对象类别的像素级预测作为伪监督来分割对应的黑夜的图片。进一步提出了一个重新加权策略来处理日间-夜间图像对之间的偏差和对日间图像的错误预测所造成的不准确性，同时还可以提高小目标的预测精度。

mixup的方法是将数据混合构建虚拟样本，如下图有两个数据点A、B，其中A是class 0，而B是class 1，Label对应就是一个one hot向量。mixup就是通过混合AB来构建虚拟数据点，同时标签也进行混合得到概率分布（非one-hot标签），这样就得到了新的样本。

Mean teachers 是在 Π-model，Temporal ensembling的基础上进一步优化了前边的两个模型的问题。比如Temporal ensembling模型只有在训练完成一个epoch之后才会进行更新，当数据集越大的时候，它更新的周期就越长，学到的信息融入到训练过程就变的很慢，而且它很难以适用于在线学习。

从DAFormer溯源到这篇文章，ClassMix主要是集合了伪标签和一致性正则化，思想来源于CutMix那条研究路线，但是优化了CutMix中的标签污染的情况，后续会说。一致性正则化的半监督学习在图像分类中取得了显著的进展，主要利用强数据增强来加强对未标记的一致性预测图片，然而在半监督语义分割中被证明是无效的。

近年来，基于卷积神经网络的语义分割模型在众多应用中表现出了显著的性能。然而当应用于新的领域时，这些模型通常不能很好地泛化，特别是从合成数据到真实数据时。本文讨论了无监督域适应(UDA)的问题，即对来自一个源域的标记数据进行训练，同时从目标域的无标记数据进行学习。现有的方法通过对这些无标签图像进行伪标签训练取得了成功。人们提出了多种技术来降低由域转移引起的低质量伪标签的情况，并取得了不同程度的成功。我们提出了DACS:通过跨域混合采样的域适应，它将来自两个域的图像与相应的标签和伪标签混合在一起。

伪标签（Pseudo-Labelling）——锋利的匕首，详细介绍了什么是伪标签方法以及伪标签方法的分类，本论文用到的方法就是上文中的创新版伪标签的方法(将没有标签的数据的损失函数也加入进来，就是最后公式后边那一坨，具体如下图)运用训练出的模型给予无标签的数据一个伪标签。方法很直接：用训练中的模型对无标签数据进行预测，以概率最高的类别作为无标签数据的伪标签第二步：运用entropy regularization(熵正则化化) 思想，将无监督数据转为目标函数的正则项(如下文公式)。

对于DeepLab系列的文章它们想解决的问题都是一致的针对于上边的问题，在DeepLab V3出现了一些相较于V2的一些优化，比如去掉了CRF，因为CRF虽然是有提升，但是提升已经是非常小了，但是它的花费相对于其他的不是一个数量级，下边讲对于模型和优化进行详细的说明。作者整理了目前已经出现的几种多尺度的方法:在本文中作者提出了两种不同的结构，而且在后边进行的实验的结果中也会有两种不同模型的一个性能对比，第一种模型叫做cascaded model，第二种叫ASPP model，目前在github复现的代码中

论文作者通过对于先下采样然后空洞卷积再上采样和直接通过空洞卷积计算，对比了两者的差距。作者的主要是的意思还是为了阐述第一个问题，在图像分辨率降低的同时会造成信息丢失的情况。

本文结合了深度卷及网络(DCNN)和CRF两个已经比较成熟的模块，在实验过程中发现单纯的使用DCNN的效果不是那么的丝滑(DCNN对于高层语义信息拥有很好的能力，但是对于低级的位置信息不足。)，做语义分割不够那么精准，根本原因是DCNN的高级特征的平移不变形。我们通过将DCNN的最后一层和CRF结合，解决了定位准确率低的问题。将原先的全连接层通过卷基层来实现。

在CamVid(室外)上与传统方法相比:可以通过图像对比发现SegNet在很多种类上都是处于领先的正确率的水平。

空洞卷积也叫扩张卷积或者膨胀卷积，简单来说就是在卷积核元素之间加入一些空格(零)来扩大卷积核的过程。空洞卷积的简单原理。下图是常规卷积和空洞卷积的动图对比：普通卷积:空洞卷积:通过对比感觉普通卷积就是空洞卷积的一种特殊情况，扩张率为1的一种情况。由于空洞卷积的计算方式类似于棋盘格式，某一层得到的卷积结果，来自上一层的独立的集合，没有相互依赖，因此该层的卷积结果之间没有相关性，即局部信息丢失。这对pixel-level dense prediction 的任务来说是致命的。

论文地址:https://arxiv.org/abs/1411.4038发表于:CVPR 2015。

后面的基本单元都是stride=1，特征图和通道数都保持不变。不过有个细节是，对于stride=2的基本单元，由于原输入会贡献一部分最终输出的通道数，那么在计算1/4时到底使用最终的通道数，还是仅仅未concat之前的通道数。这里给个例子，当 时，对于第一阶段的第一个基本单元，其输入通道数为24，输出通道数为240，但是其stride=2，那么由于原输入通过avg pool可以贡献24个通道，所以相当于左支只需要产生240-24=216通道，中间瓶颈层的通道数就为216/4=54。其他的可以以此类推。..

在小的训练数据上也显示出了优越的性能。倒残差结构并不是所有的都需要加shorcut连接，只有当stride=1且输入特征矩阵与输出特征矩阵shape相同时才有shortcut连接，所以对于n>=2的时候，才会有shorcut，因为经过bottleneck之后的维度已经发生改变，但是再经历重复的bottleneck的时候输入和输出的维度是一致的所以可以利用shorcut连接。在二维卷积中，输入的大图片与二维的卷积核进行卷积，输出的是一张二维的特征矩阵(特征图），当然也只能提取二维的平面特征。......

在图像预处理过程中通常会对图像进行标准化处理，这样能够加速网络的收敛，如下图所示，对于Conv1来说输入的就是满足某一分布的特征矩阵，但对于Conv2而言输入的featuremap就不一定满足某一分布规律了（注意这里所说满足某一分布规律并不是指某一个featuremap的数据要满足分布规律，理论上是指整个训练样本集所对应featuremap的数据要满足分布规律）。通过图3最后的数据对比，ResNeXt能够保证FLops和参数在同一个量级的前提下，通过更宽或者更深的网络，来提高精度。...

DataLoader中的shuffer=False表示不打乱数据的顺序，然后以batch为单位从头到尾按顺序取用数据。(N+padding*2-F)/stride+1n是输入的小，f是卷积核/感受野的大小。这是因为对于卷积神经网络，会利用像素的局部关系，但是打乱顺序以后，这些像素间的关系将无法得到利用。1×1卷积核是对输入的每一个特征图进行线性组合，而全连接层是对输入的每一个数进行线性组合。残差的思想去掉相同的主体部分，从而突出微小的变化。4、1x1的卷积和FC有什么区别？...

深度学习和pytorch小结

上面通过Transformer Encoder后输出的shape和输入的shape是保持不变的，以ViT-B/16为例，输入的是[197, 768]输出的还是[197, 768]。对于标准的Transformer模块，要求输入的是token（向量）序列，即二维矩阵[num_token, token_dim]，如下图，token0-9对应的都是向量，以ViT-B/16为例，每个token向量长度为768。下图是原论文中给出的关于Vision Transformer(ViT)的模型框架。...