Keep_Trying_Go的博客

前面我们已经讲过了关于人群计数无监督的论文，而今天要讲的这篇论文目前是我看到的最新的无监督人群计数算法，但是呢！论文没有给代码，所以下面的讲解只能结合论文给出的理论来大致讲一下。

前面我们已经讲过了两篇论文关于人群计数的无监督算法，其中一篇是基于人群计数符合自然幂律分布，而另外一篇是基于CLIP的无监督算法，充分利用了CLIP的泛化性能。而本文要讲的是关于语义分割领域的一篇基于CLIP的无监督算法，但是这篇算法的理解不是太容易，因此需要花较多的时间去阅读和理解。

今天讲解的这篇论文属于无监督方面的算法点，其中的算法理解不是太容易，并且涉及的算法点也比较多，所以需要花较多的时间去理解和阅读。上一次我们讲过基于CLIP的无监督人群计数CrowdCLIP算法，那篇论文算法理解起来更加容易一点，并且代码实现方面理解起来也更加容易一点，因此也希望大家可以看一下那篇论文。

虽然基于“图像-英文”的CLIP在很多下游任务中得到广泛的应用，但是毕竟是国外（OpenAi）公司做出来的，因此如果直接将CLIP应用到“图像-中文”上的话效果比较差，为了能更好的应用中文的图文检索其实是非常好的，针对中文训练一个Chinese-CLIP。虽然Chinese-CLIP很大程度上还是基于CLIP来做的，但是其中涉及的知识点还是应该讲一下的，具体做了什么以及源码训练以及模型是具体怎么实现的，这也很重要。了解Chinese-CLIP对于后期的应用到自己的任务具有很大的优势。

还记得我们之前讲的“CLIP-Count（基于文本指导的零样本目标计数）”论文的内容吗，如果看过的小伙伴应该知道CLIP-Count论文的作者就使用到了“Visual Prompt Tune”方法训练模型。我们今天来看这篇论文也是因为CLIP-Count提到了这一点。如果迁移微调的模型比较大的话，是不是也可以尝试采用“visual prompt tune”呢，关于这一点大家可以去尝试一下。同样，《Visual Prompt Tune》这篇论文的作者也是认为当前基于模型的全微调对于参数量大的模型并不好，不仅

前面我们已经讲过了关于VQ-VAE的原始论文，其中主要是采用一种​​离散隐变量​​的自编码方法，通过​​向量量化（Vector Quantization, VQ）​​ 实现隐空间的离散化，从而提升表征的可解释性和生成质量。正是VQ-VAE在大规模的模型当中得到应用，也证明了它的成功。

前面我们已经讲过了关于基于CLIP的人群统计两篇文章，也希望读者可以去看前面两篇文章，因为这对于学习CLIP在计数方面具有很好的启发。前面两篇文章主要是从有监督和无监督两方面来进行研究的，而这篇文章也可以说是从无监督的方面来进行研究的，不同的是这篇文章不仅仅是针对人群计数，主要是面对所有的目标，通过文本指定要统计的目标达到效果（零样本计数）。

前面一篇论文我们已经讲过了关于CLIP应用的人群统计算法CLIP-EBC，但是前面一篇论文是从完全监督的角度去考虑并且基于块级分类方向来进行研究的。而本文CrowdCLIP主要是从完全无监督的方向来进行研究的，两篇论文都从不同的角度去提升人群计数模型的性能，采用更新颖的方法做研究，这对于人群统计算法的拓展很有帮助，因为当前的人群统计算法基本把所有能用的算法都用的差不多了，而这两篇论文从其他角度出发探讨问题。

论文《Distribution Matching for Crowd Counting》提出了一种新的人群计数方法，通过使用人群统计损失（CLoss）、最优化传输损失（OTLoss）和总的变化损失（TVLoss）来提高计数准确性。该方法借鉴了DMCount的损失函数，并结合了CLIP预训练对比语言模型。CLIP-EBC是该领域首次将CLIP模型应用于全监督范式的人群计数，不同于之前的CrowdCLIP采用的Zero-shot范式。论文和相关代码可在提供的链接中下载，为进一步研究和应用提供了资源。

（论文下载链接）之所以将论文，主要是为讲解后面两篇论文做准备，VQ-VAE不管是视频还是博客，都有人在讲解，但是这里也做一个总结，以衔接后面的两篇论文讲解，关于相关的论文比较多，并且其中涉及的数学原理以及推导也比较多，导致我们在阅读VAE方法的时候可能存在较多的困惑，自己在看的过程中也遇到了较多的困惑，但是还是准备做一个总结。

本文主要是对人群计数中常用的数据集的相关介绍以及使用方式，之所以特意的抽时间来写这篇博文，主要是最近发现比较多的小伙伴（刚进入这个领域）在人群计数数据集上容易迷茫。如果一个一个的为大家进行解答的话，还不如直接写一篇文章来更加细致的给大家讲解一下。如果在讲解的过程中有什么不对的地方，还请大家能够指出（ヾ(◍°∇°◍)ﾉﾞ）。悄悄举手：若觉得文章有用，不妨留下一个小赞？

各位小伙伴，在看本文之前建议先看一下因为RATLIP是在GALIP的基础上进行改进的。

尽管在使用生成对抗网络生成高质量和视觉上真实的图像方面取得了显著进展，但保证文本描述与视觉内容之间的语义一致性仍然非常具有挑战性。例如，在第四列中，鸟的腹部颜色被修正为白色，穿红色夹克的滑雪者被复原。因此，生成图像的质量逐渐提高，例如，翅膀和冠的颜色和细节有所改善。的优越性，并且它利用重描述的双重正则化，即如果可以正确重描述，则应生成语义一致的图像。在第一阶段，生成的低分辨率图像具有简单的形状和颜色，但缺乏细节。旨在从生成的图像中再生文本描述，该描述在语义上与给定的文本描述对齐。具体来说，与最先进的方法。

文本对图像的描述对于如今的大模型来说是比较容易的事情，但是其中的原理是怎么实现的呢？本文从MirrorGAN论文中给出的方法以及上面给出的代码下载地址来进行讲解。将从原理和代码进行详解。

本文之所以将AttGAN中提出的DAMSM（Deep Attention Multimodel Similarity Model）单独拿出来讲解，主要是因为后面的比较多论文都会使用这个文本编码器和图像编码器预训练模型对文本和图像进行编码。虽然当前的CLIP打通了文本和图像，但是了解DAMSM的实现过程也是比较重要的，只有对其有了比较深刻的理解，在理解CLIP也是比较有帮助的。这个链接中已经提供了相关数据集对应的文本和图像编码器预训练模型。

关键是，这些插值后的文本嵌入不需要对应于实际的人类写作文本，因此没有额外的标注成本。可以结合以前见过的内容（例如文本）和以前见过的风格，但以新的组合方式来生成与训练期间见过的任何图像都非常不同的可信图像。为了进行姿势验证和背景颜色验证的两个任务，首先构建了相似和不相似的图像对，并通过将图像输入到风格编码器中（该编码器经过训练以反转输入和生成器输出）来计算预测的风格向量。在花卉形态上往往具有最多样化（例如，如果这一部分在说明中未指定，可以看到非常不同的花瓣类型），而其他方法则倾向于生成更具类别一致性的图像。

通过百度网盘分享的文件：AttnGAN提取码：way0。

提出目的和方法提出目的能否从纯粹的序列到序列的视角，让 Transformer进行2D物体和区域级别的识别，而对2D空间结构的知识进行最小化？提出方法为了回答这个问题，提出了“仅需关注一个序列”（YOLOS），这是基于原始最少修改的对象检测模型系列，旨在最小化目标任务的诱导偏差。YOLOS在中型数据集上预训练后，仅此即可在具有挑战性的COCO目标检测基准上获得相当竞争力的性能，例如，直接采用BERT-Base架构的YOLOS-Base在COCO验证集上可以达到。

提出目的和方法提出目的尽管数据增强已被证明可以显著提高图像分类的准确性，但其在目标检测中的潜力尚未得到充分研究。考虑到为对象检测任务标注图像所需的额外成本，数据增强对于计算机视觉任务可能更为重要。提出方法本文中研究了数据增强对目标检测的影响。首先证明了从图像分类中借鉴的数据增强操作可能有助于训练检测模型，但改进有限。因此，研究了如何通过学习专门的数据增强策略来提高检测模型的泛化性能。重要的是，这些增强策略仅影响训练过程，并在评估期间保持训练好的模型不变。在COCO。

前面已经讲过针对图像相似性的不同评估方法初步讲解，首先大家要知道并没有一种方法是，因此大家在使用不同方法对图像相似性进行评估的时候可能得到结果差别比较大，但是这并不就否认某一种方法不行，而是不同方法可能适用的场景不一样，大家在选择方法的时候根据自己的领域常用方法来使用。本文讲述的图像和文本相似性评估主要来自于HDGAN，之所以单独拿出来讲，是因为这一块也挺重要的。通过评价生成图像和对应文本之间的相似性来判断生成图像的效果，从而避免了人工的判断，耗时等操作。

检测小物体的能力和目标检测器的速度对于自动驾驶的应用非常重要，虽然当前的很多目标检测算法已经取得了很不错测效果，并且在速度和精度上得到一个比较好的平衡，但是在小目标的检测效果上还是缺乏。本文中提出了一种有效且高效的一阶段检测器，该检测器在 CVPR2018。数据集的实验结果表明，所提出的检测器（命名为。的架构，并引入了一个新的综合特征增强。的路面物体检测竞赛中获得了第二名。）在小物体检测上表现显著优于原始的。，同时保持高效性，接近原始的。关于该竞赛数据集以及。

提出目的和方法提出目的DETR最近被提出用于消除对象检测中对许多手工设计组件的需求NMS后处理，anchor设计），同时显示出良好的性能。然而，由于注意模块在处理图像特征图时存在缓慢收敛和有限特征空间分辨率的限制，它面临一些问题。提出方法提出了变形DETR，其注意模块仅关注参考点周围的一小部分关键采样点。变形DETR在小对象上可以实现比DETR更好的性能，并且训练周期减少了10倍。DETR缺陷总结：DETR不需要NMS后处理以及手工设计anchor。

的输入可以视为树的根节点，而多尺度图像则从树的不同分支生成。中间分支的生成器有逐步生成小到大图像的目标，以帮助实现最终目标。它们的结果在大多数情况下缺乏生动的部分（例如，喙和腿）和令人信服的细节，这使得这些图像既不够真实，也没有足够高的分辨率。该正则化提供了额外的约束，以促进多分布的近似，这在没有实例监督的无条件设置中特别有用。接受第一阶段的结果和文本描述作为输入，并生成具有照片真实细节的高分辨率图像。在与场景相对应的多个尺度上生成图像。描述了基于给定文本描述的场景的原始形状和颜色，从而生成低分辨率图像。

此外提出的检测器支持通过使用不同的解码器层灵活调整推理速度，而无需重新训练，这便于在各种实时场景中的实际应用。为了实现实时目标检测，我们设计了一种高效的混合编码器，以替代原始的变换器编码器。通过解耦多尺度特征的内部尺度交互和跨尺度融合，编码器可以高效处理不同尺度的特征。具体而言，设计了一种高效的混合编码器，通过解耦内部尺度交互和跨尺度融合来高效处理多尺度特征，并提出了。的检测器支持通过使用不同的解码器层灵活调整推理速度，而无需重新训练，这得益于。架构中解码器的设计，便于实时检测器的实际应用。

通过推理对象之间的关系和全局图像上下文，直接并行输出最终的预测集合。提出了一种新方法，将目标检测视为一个直接的集合预测问题。简化了检测流程，有效地消除了许多手工设计的组件，如非极大值抑制程序或。），其主要成分是一个基于集合的全局损失，通过二分匹配强制唯一预测，以及一个变换器编码器。生成，这些组件明确编码了对任务的先验知识。，这个两个流程对于目标检测的实现增添了复杂度。（其实这里的目的并没有完全表达论文的意思）来实现的，其中在训练和推理阶段会采用生成的。当前的很多目标检测算法都是基于。

由于资源有限，当前的目标检测算法对于计算资源的需求非常大，因此这对于目标检测算法的部署本身不利，比如永远在线的设备，电池供电的低端设备等。是一个整数超参数，用于控制模型的容量。然后，它应用深度卷积，并通过点卷积（即。，然后执行深度卷积。深度卷积的输出直接与输入拼接，而不需要额外的。与最先进的全尺寸模型进行比较时，确实存在轻微的准确度下降。）和检测准确度之间实现了更好的平衡，对于资源受限的应用极为有用。框架，设计了一个目标检测模型框架，，称之为。Tiny-DSOD达到。卷积投影的）特征图，因此在两个相邻的。

提出目的和方法提出目的基于检测的人群计数，检测方法通常比以往的密度图人群计数技术提供更可靠的结果。因为在密度图的情况下，并不总是正确的位置会对最终的人群计数产生贡献。这导致了不可靠的结果，特别是在出现误报的情况下。提出方法提出了 FCHD（全卷积人头检测器），一个可端到端训练的人头检测模型。提出的架构是一个单一的全卷积网络，负责边界框预测和分类。模型在推理时间和内存需求上都较轻便。与运行时间相关，模型在平均准确度（AP）上表现更好，这得益于基于网络有效感受野选择锚点大小。

在本文中，提出了一种新的边界框回归损失，用于同时学习边界框变换和定位方差。损失显著提高了各种架构的定位精度，几乎没有额外的计算开销。学习到的定位方差使非极大值抑制（）力求尽可能清晰地定义真实的边界框。然而在标注边界框时仍然会产生模糊性。大规模目标检测数据集（例如 MS-COCO。）过程中合并相邻的边界框，进一步提升了定位性能。，显著超过了之前的最先进的边界框精炼方法。损失应用到坐标框回归中。

物体检测算法在自动驾驶车辆中的应用越来越重要，高精度和快速推理速度对安全的自动驾驶至关重要。在自动驾驶过程中，错误的定位（假阳性，FP。）进行建模，采用高斯参数并重新设计损失函数。此外，本文还提出了一种预测定位不确定性的方法，该不确定性指示了。因此，在自动驾驶应用中，需要一种能够处理误定位的检测算法。本文提出了一种提高检测精度的方法，同时支持实时操作，通过对 YOLOv3。通过在检测过程中使用预测的定位不确定性，该方案可以显著减少。（最具代表性的单阶段检测器）的边界框（算法相比，所提出的算法高斯。

其核心设计基于一系列关于不同卷积核大小如何影响不同尺度对象检测性能的研究。最终结果是一种新的策略，可以显著增强实时目标检测器的多尺度特征表示。为了验证策略的有效性，构建了一个网络架构，称为。，实时目标检测器的架构经历了性能快速增长的重大变化。虽然这些方法在速度和精度上已经得到很大的提升，但在不同尺度上识别对象仍然是实时目标检测器面临的基本挑战。与之前的具有大量参数的目标检测器不同，实时目标检测器目的追求速度和准确性之间的最佳权衡。，而不依赖于其他大规模数据集，如。数据集上从零开始训练。

卷积操作只能捕捉窗口区域内的局部信息，这限制了性能的进一步提高。注意力是基于全连接层构建的，它不仅能在常见硬件上快速执行，还能捕捉远程像素之间的依赖关系。注意力中的所有操作都可以在更小的特征上进行。默认情况下，宽度和高度都缩减为原始的一半，这样可以减少。通过水平和垂直下采样来减小特征的大小，使 DFC。然后，生成的特征图会被上采样到原始大小，以匹配。在本文中提出了一种硬件友好的注意力机制（称为。函数对下采样的特征进行处理以加速实际推理。注意力增强便宜操作生成的扩展特征，这样。注意力），并介绍了一种新的。

提出目的和方法提出目的将卷积神经网络（CNN）部署到嵌入式设备上是困难的，因为这些设备具有有限的内存和计算资源。特征图中的冗余是那些成功的CNN的一个重要特性，但在神经架构设计中很少被研究。提出方法本文提出了一种新颖的 Ghost模块，通过廉价操作生成更多特征图。基于一组内在特征图，应用一系列低成本的线性变换，生成许多Ghost特征图，以充分揭示隐含的内在特征。所提出的Ghost模块可以作为即插即用组件，升级现有的卷积神经网络。Ghost瓶颈的设计用于堆叠Ghost。

对这些特性在大规模数据集上的组合进行实际测试，以及对结果的理论证明，是必需的。而有些特性，例如批量归一化和残差连接，则适用于大多数模型、任务和数据集。一个目标是选择额外的模块，以增加感受野，并找出从不同主干层进行参数聚合的最佳方法，以适应不同的检测器层级，例如。）收集整个批次内的统计数据，而不是在单个小批量内收集统计数据。的因子来解决此问题，从而消除对目标不可检测的网格影响。：在训练中使用四张图像的马赛克，而不是单张图像。以获得更大的感受野，以覆盖更大的输入网络。与其他最先进的目标检测器的比较。

而星操作类似于核函数，它在不同通道之间进行成对乘法，特别是多项式核函数。仅需几层，星操作就能够实现几乎无限的维度，而这些维度都在紧凑的特征空间。解释星运算其强大之处：星操作具备将输入映射到极高维度、非线性特征空间的能力。通过重写和重新表述星操作，揭示了这种看似简单的操作可以生成一个包含大约。运算”（逐元素乘法）未被完全开发的问题引起了比较大的关注，虽然很多研究都对其进行了解释，但是其背后的基本原理很大程度上并没有被探索。由于其运算操作如同“天空中的星星一样，星运算看似平淡无奇，却蕴含着巨大的潜力”

将第一阶段的结果和文本描述作为输入，并生成具有照片真实细节的高分辨率图像。它能够纠正第一阶段结果中的缺陷，并通过精炼过程添加引人注目的细节。为了提高合成图像的多样性和稳定条件。现有的文本到图像的方法生成的样本虽然能大致反映给定描述的意思，但往往缺乏必要的细节和生动的物体部分。根据给定的文本描述勾画出物体的原始形状和颜色，从而生成第一阶段的低分辨率图像。的训练，我们引入了一种新颖的条件增强技术，鼓励潜在条件流形的平滑性。精炼过程将这一困难问题分解为更易管理的子问题。），以生成基于文本描述的。

现有的文本到图像生成对抗网络通常采用堆叠架构作为骨干网络，但仍然存在三个缺陷。首先，堆叠架构引入了不同图像尺度生成器之间的纠缠。一种新颖的一阶段文本到图像的骨干网络，能够直接合成高分辨率图像，而不会引入不同生成器之间的纠缠；图像语义一致性，这限制了这些网络的监督能力。第三，广泛采用的基于跨模态注意力的文本。一种新颖的目标感知判别器，由匹配感知梯度惩罚和单向输出组成，增强了文本。图像融合块，深化了融合过程，实现文本和视觉特征之间的全面融合。图像的语义一致性，而无需引入额外的网络；针对不同问题提出的解决方案。

———birds/| |——image_encoder200.pth(对应图像编码器)| |——text_encoder200.pth(图像对应文本内容描述的编码器)|——npz/| |——bird_val256_FIDK0.npz(用于模型生成的图像FID的评估)|——text/| │ │ ├── image_001.txt(图像对应的文本描述句子)|——test/| |——class_info.pickle(对应测试集图像的类别信息)

基于大规模预训练，自回归和扩散模型可以合成真实照片图像。为了实现高质量、高效且可控的文本到图像合成，提出了生成对抗 CLIP。的可学习参数，实现了与大型预训练自回归和扩散模型相当的结果，模型达到了约。的复杂场景理解能力使判别器能够准确评估图像质量。集成的生成器和判别器提高了训练效率，因此，本文模型仅需要约。增强的生成器，该生成器通过桥接特征和提示来引导视觉概念。这些模型需要大量的训练数据和参数才能获得良好的性能。合成的视觉特征难以控制，并且需要精细设计的提示。倍的合成速度，并继承了平滑的潜在空间。

文本主要是针对图像相似性的不同评估方法初步讲解，首先大家要知道并没有一种方法是完美的，因此大家在使用不同方法对图像相似性进行评估的时候可能得到结果差别比较大，但是这并不就否认某一种方法不行，而是不同方法可能适用的场景不一样，大家在选择方法的时候根据自己的领域常用方法来使用。图像相似性评估方法代码实现：https://github.com/KeepTryingTo/DeepLearning/tree/main/Text2Image/ImageSimilarityIndex。

提出目的和方法提出目的物体检测仍然是计算机视觉领域一个活跃的研究领域，通过设计深度卷积神经网络来解决物体检测问题，已经取得了显著的进展和成功。尽管取得了这些成功，但在边缘和移动场景中广泛部署此类物体检测网络的最大挑战之一是高计算和内存要求。因此，针对边缘和移动使用的高效深度神经网络架构的设计引起了越来越多的研究兴趣。提出方法介绍了 YOLO Nano，它是一种用于物体检测任务的高度紧凑的深度卷积神经网络。创建YOLO Nano的过程中采用了一种人机协作设计策略，其中根据YOLO系列。