薛铁钢的博客

本文提出了一种用于布局到图像生成的扩散模型LayoutDiffusion；将图像的每个块作为一个特殊的对象，以统一的形式完成布局和图像的困难多模态融合；提出了布局融合模块（LFM）、对象感知交叉注意机制（OaCA）。布局图实际上是一系列物体在图片上的布局信息，一个布局序列中的每个对象o都对应着图片中的一个物体，每个对象由2D边界框和该物体的类别标签组成。

将真实图像编码到隐空间中，使用编码器将真实图像进行潜在编码，再将编码后的随机噪声和输入图像进行结合生成输出。条件生成器从随机抽样的隐向量产生一个输出，当它作为输入给编码器时，编码返回与随机抽样相同的隐向量。将上述两种方法结合起来，构成双向映射的结构对于PixPixGAN而言，生成器更多地依赖于输入图像的具体内容而非随机噪声来重建输出。因此，即使添加了噪声，只要输入图像信息足够丰富，生成的输出仍然会依照输入的结构和特征进行构建。与传统的pix2pix模型不同，BicycleGAN在生成过程中引入了隐变量。

本文提出了一种新颖的语义提示方法，利用类名的文本信息作为语义提示，自适应地调整特征提取网络，使得图像编码器只关注和语义提示相关的视觉特征，忽略其他干扰信息。本文主要提出了一个语义提示SP模块和模块中两种互补的信息交互机制：1、SP模块：可以插入到特征提取器的任何层中，包含空间和通道交互部分。2、空间交互机制：将语义提示特征和图像块特征串联在一起，然后送入Transformer层中，通过自注意力层，语义提示可以和每个图像块特征进行信息交互从而使模型关注类别相关的图像区域。

针对增量小样本学习问题，探索一种可以快速从小样本中学习新类别，又不会忘记以前见过的类别的模型Sylph，且不需要对模型参数进行任何额外的优化。面对新类别会直接训练，不用联合训练（连带着基类和已经学习到的新类别一起训练）在基础训练的时候训练出一个和类别无关的回归器，在适应新类别时，只需要用这个回归器进行定位操作就可以了；因此只需要考虑小样本分类问题，只关注分类器的参数；训练新类别时，生成一组新的分类器参数（新类类代码），再通过元测试阶段将新类类代码和基类类代码合成在一起。

小样本分类问题：FS-C，总是事先假定查询图像中包含且只包含一个目标类，这个目标类属于支持类中，且支持集中的各个类之间不能存在包含关系，如{苹果，橘子，水果，桌子，椅子，家具}这种类别设置是不允许的。小样本图像分割问题：FS-S，当查询图像中不包含目标类别时，会选择分割出图像中最显著的部分。

本文提出一种SRR-FSD算法，尝试在使用视觉信息的同时使用语义关系，并且将显式的关系推理引入到小样本目标检测中。

在以往的小样本目标检测工作中，支持特征和查询特征之间的关系没有得到充分的发掘和利用，传统方法利用支持特征的全局池化生成的分类向量来调整查询特征，从整体角度指导特征学习。然而，由于外观变化或遮挡在自然图像中是常见的，当同一类对象在查询和支撑样本之间变化很大时，整体特征可能会产生误导。另外，当大部分物体由于遮挡而看不见时，局部上下文细节丢失，这时局部细节特征的检索变得非常重要，而以往的方法完全忽略了这一点。同时，小样本目标检测问题中，多尺度特征提取器存在基类和新类过拟合的问题。

本文提出了一种基于对比建议编码（FSCE）的小样本目标检测方法，在RoI 特征提取后添加了一个和回归、分类分支并行的建议框对比编码（CPE）分支。

如果把不同类别的数据按照出现的频率从高到低进行排序，就会得到一条递减的曲线。在曲线的头部，数据出现的频率很高，随着数据的出现频率逐渐降低，曲线也逐渐下降，缓慢趋近于横轴，看起来就像拖着一条长长的尾巴。