<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[weixin_51697828的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/weixin_51697828</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; weixin_51697828]]></copyright><item><title><![CDATA[SST: Self-training with Self-adaptive Thresholding for Semi-supervised Learning]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/147523426</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/147523426</guid><author>weixin_51697828</author><pubDate>Sat, 26 Apr 2025 00:57:26 +0800</pubDate><description><![CDATA[我们提出了一种新颖、有效且高效的半监督学习框架SST。SST 引入了一种创新的自适应阈值（Self-Adaptive Thresholding, SAT）机制，该机制根据模型的学习进度自适应地调整类别特定的阈值。SAT 确保了高质量伪标签数据的选择，减轻了不准确伪标签和确认偏差（模型在训练中强化自身错误）的风险。具体来说，SAT 防止模型过早地采纳低置信度的伪标签，减少了错误的强化，并提升了模型性能。大量的实验表明，SST 在各种架构和数据集上均实现了最先进的性能，并具有显著的效率、泛化能力和可扩展性。]]></description><category></category></item><item><title><![CDATA[FixMatch：简单有效的半监督学习算法]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/127465440</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/127465440</guid><author>weixin_51697828</author><pubDate>Sat, 22 Oct 2022 18:41:42 +0800</pubDate><description><![CDATA[半监督学习(SSL)提供了一种利用无标记数据提高模型性能的有效方法。最近，这一领域取得了快速的进展，但代价是需要更复杂的方法。我们提出了FixMatch方法，对现有的SSL方法进行了大幅简化。首先，FixMatch对无标记图像的弱增强视图进行预测，生成伪标签，并且只有当模型产生高置信度预测时，才会保留伪标签。然后，FixMatch对同一无标记图像的强增强视图进行预测，并且将预测结果与上述伪标签进行匹配，计算损失，以此来训练模型。FixMatch简单易行，并且在各种半监督学习基准上都达到了最先进的性能。]]></description><category></category></item><item><title><![CDATA[EMAN：自监督和半监督学习的指数移动平均归一化]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/127266870</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/127266870</guid><author>weixin_51697828</author><pubDate>Tue, 11 Oct 2022 16:48:18 +0800</pubDate><description><![CDATA[本文提出了一种简单的归一化技术，即指数移动平均归一化(EMAN)，用于基于EMA-teacher框架的半监督和自监督模型。它解决了在EMA-teacher框架中使用标准BN时的cross-sample依赖和参数不匹配的问题。这种简单的设计提高了半监督和自监督模型的性能。这些提高在不同的方法、网络架构、训练时间和数据集上是一致的，证明了EMAN的有效性。]]></description><category></category></item><item><title><![CDATA[Consistent Teacher：一种简单有效的半监督目标检测器]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/127192584</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/127192584</guid><author>weixin_51697828</author><pubDate>Fri, 07 Oct 2022 12:05:14 +0800</pubDate><description><![CDATA[本文系统地研究了半监督目标检测中的三种不一致问题，即匹配不一致、分类-回归子任务不一致和时间不一致。为了缓解上述挑战，我们提出了一种简单有效的半监督目标检测器，称为Consistent-Teacher。我们引入了Consistentanchorassignment和FAM方法，使分类和回归任务保持一致。我们利用高斯混合模型(GMM)动态调整自训练阈值，以解决时间不一致的问题。Consistent-Teacher为一系列SSOD评估提供了新的强大基线。]]></description><category></category></item><item><title><![CDATA[掩码自编码器(MAE)是时空学习者]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/126605867</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/126605867</guid><author>weixin_51697828</author><pubDate>Tue, 30 Aug 2022 16:11:01 +0800</pubDate><description><![CDATA[本文将掩码自编码器(MAE)扩展到了视频的时空表示学习上面。我们随机掩码视频中的时空patches，并训练一个自编码器重建它们。有趣的是，我们的MAE方法可以在几乎没有时空归纳偏置的情况下学到强大的表示，并且随机掩码表现最好。我们观察到，视频的最佳掩码率高达90%，而图像的最佳掩码率为75%。高掩码率将大大提高模型的训练速度。我们报告了在几个挑战性的视频数据集上的结果。我们观察到，MAE可以大大超过有监督的预训练。我们还报告了在现实世界、未经整理的Instagram数据上令人鼓舞的结果。......]]></description><category></category></item><item><title><![CDATA[用于医学图像分析的MAE掩码自编码器(速读版)]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/126588266</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/126588266</guid><author>weixin_51697828</author><pubDate>Mon, 29 Aug 2022 17:05:46 +0800</pubDate><description><![CDATA[在本文中，我们证明了MAE预训练可以改善医学图像分类和分割任务的结果。MAEself pre-training在小数据集上优于现有的方法，包括ImageNet迁移学习方法。此外，我们还证明了MAE在CT和MRI医学图像上的有效性，这是以前从未探索过的。总之，MAE可以进一步改善ViT在医学图像分析任务中的性能。......]]></description><category></category></item><item><title><![CDATA[BEiT-3：将图像视为一种外语：用于视觉和视觉-语言任务的BEiT预训练(速读版)]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/126572660</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/126572660</guid><author>weixin_51697828</author><pubDate>Sun, 28 Aug 2022 18:42:45 +0800</pubDate><description><![CDATA[在本文中，我们提出了一个通用的多模态基础模型BEiT-3，它在广泛的视觉和视觉-语言基准上实现了最先进的性能。BEiT-3的核心思想是，将图像视为一种外语，这样我们就可以对图像、文本以及图像-文本对进行统一的掩码“语言”建模。...]]></description><category></category></item><item><title><![CDATA[DINO：一种新的端到端目标检测器(速读版)]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/126546125</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/126546125</guid><author>weixin_51697828</author><pubDate>Fri, 26 Aug 2022 16:59:52 +0800</pubDate><description><![CDATA[在本文中，我们提出了一种强大的端到端Transformer检测器DINO，借助contrastive denoising training、mixed query selection、look forward twice方法，大大提高了模型的训练效率和检测性能。我们进一步尝试在更大的数据集上用更强的骨干网络训练DINO，并在COCO 2017 test-dev数据集上达到了新的SOTA水平，63.3 AP。...]]></description><category></category></item><item><title><![CDATA[ViLT：不用卷积/区域特征监督信号的视觉-语言Transformer(速读版)]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/126534217</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/126534217</guid><author>weixin_51697828</author><pubDate>Thu, 25 Aug 2022 23:11:28 +0800</pubDate><description><![CDATA[在本文中，我们提出了一种极简的VLP架构——视觉-语言Transformer(ViLT)。相比于那些大量配备卷积视觉嵌入网络(如Faster R-CNN和ResNets)的VLP模型，ViLT是有竞争优势的。未来，我们希望更多地关注Transformer模块内部的模态交互。尽管ViLT-B/32很了不起，但它更像是一个概念的证明，即没有卷积和region supervision的VLP模型仍然可以work。...]]></description><category></category></item><item><title><![CDATA[CMAE：对比掩码自编码器是更强大的视觉学习者(速读版)]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/126494329</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/126494329</guid><author>weixin_51697828</author><pubDate>Tue, 23 Aug 2022 22:39:04 +0800</pubDate><description><![CDATA[本文提出了一种新的自监督学习框架——对比掩码自编码器(CMAE)，旨在利用对比学习来提高MIM的表示质量。在CMAE中，我们分别从输入生成和体系架构方面提出了两种新颖的设计，以协调MIM和对比学习。大量实验证明，CMAE可以显著提高预训练表示的质量。值得注意的是，在图像分类、语义分割、目标检测三个下游任务上，CMAE取得了最先进的性能。未来，我们将研究把CMAE扩展到更大的数据集上。]]></description><category></category></item><item><title><![CDATA[Semi-ViT：半监督学习Vision Transformer(速读版)]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/126474894</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/126474894</guid><author>weixin_51697828</author><pubDate>Mon, 22 Aug 2022 22:40:47 +0800</pubDate><description><![CDATA[在本文中，我们提出了Semi-ViT方法，它在半监督学习上取得了很好的结果，甚至大大超过了之前基于CNN的同类方法。此外，Semi-ViT继承了ViT的可扩展性优势，模型越大，性能越好。这已被证明是半监督学习的一个有前途的方向。Semi-ViT的优势可以很好地泛化到其他数据集上。我们希望这些结果能够鼓励人们在半监督VisionTransformer方面做出更多工作。]]></description><category></category></item><item><title><![CDATA[SwAV：通过对比聚类匹配实现视觉特征的无监督学习]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/125947744</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/125947744</guid><author>weixin_51697828</author><pubDate>Sat, 23 Jul 2022 15:20:27 +0800</pubDate><description><![CDATA[在本文中，我们提出了一种online算法SwAV，它利用了对比学习方法的优点，而不需要计算成对的比较。具体来说，SwAV在对数据进行聚类的同时，强化同一图像不同视图的聚类分配之间的一致性，而不是像对比学习那样直接比较特征。简单地说，我们使用“换位”预测机制，从一个视图的表示中预测另一个视图的code。我们的方法可以进行大批量和小批量训练，并且可以扩展到无限量的数据上。与之前的对比方法相比，我们的方法更加高效，因为它不需要大的内存或特殊的动量网络。...]]></description><category></category></item><item><title><![CDATA[ImageNet、CIFAR、MNIST、IMDB、AudioSet等10个数据集中的标签错误分析]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/125898085</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/125898085</guid><author>weixin_51697828</author><pubDate>Wed, 20 Jul 2022 18:30:56 +0800</pubDate><description><![CDATA[本文证明了标签错误在许多用于衡量机器学习进展的基准测试集中普遍存在。传统上，机器学习从业者根据测试精度选择部署哪种模型，我们建议这样做的话要谨慎，在正确标记的测试集上评判模型可能更重要，特别是对于含有更多噪声的真实世界数据集。我们建议考虑校正测试精度和原始测试精度之间的区别，并精心管理数据集，以最大限度地增加高质量的测试标签。...]]></description><category></category></item><item><title><![CDATA[谷歌大脑团队：ImageNet错误数据分析]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/125878631</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/125878631</guid><author>weixin_51697828</author><pubDate>Tue, 19 Jul 2022 18:59:52 +0800</pubDate><description><![CDATA[在本文中，我们分析了ViT-3B和Greedysoup模型在ImageNet多标签验证集上所犯的每一个错误。我们发布了ImageNet-M数据集，这是一个包含68个示例的多标签评估子集，用于衡量模型解决重大、明确错误的能力。...]]></description><category></category></item><item><title><![CDATA[P＞M＞F：基于预训练-元训练-微调流程的小样本学习方法]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/125750642</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/125750642</guid><author>weixin_51697828</author><pubDate>Tue, 12 Jul 2022 20:04:36 +0800</pubDate><description><![CDATA[P>M>F：基于预训练-元训练-微调流程的小样本学习方法]]></description><category></category></item><item><title><![CDATA[DETR：基于Transformer的端到端目标检测方法]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/125675531</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/125675531</guid><author>weixin_51697828</author><pubDate>Fri, 08 Jul 2022 12:01:51 +0800</pubDate><description><![CDATA[我们提出了DETR，这是一种基于Transformer和直接集合预测二分图匹配损失的目标检测系统。该方法在COCO数据集上实现了与Faster R-CNN基线相当的结果。DETR易于实现，具有灵活的架构，可以轻松扩展到全景分割任务上，并且取得了具有竞争力的结果。此外，与Faster R-CNN相比，DETR在大物体上的性能明显更好，这可能要归功于自注意力对全局信息的处理。这种新的架构也带来了新的挑战，特别是在小物体的检测方面。目前的检测器经过几年的改进才能应对类似问题，我们预计未来的工作将成功解决DETR的]]></description><category></category></item><item><title><![CDATA[MAE：掩码自编码器是可扩展的视觉学习者 v2]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/125413927</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/125413927</guid><author>weixin_51697828</author><pubDate>Wed, 22 Jun 2022 17:40:41 +0800</pubDate><description><![CDATA[本文证明了掩码自编码器(MAE)是一种可扩展的计算机视觉自监督学习方法。MAE方法很简单：我们对输入图像的patches进行随机掩码，然后重建缺失的像素。MAE基于两个核心设计。首先，我们开发了一个非对称的编码器-解码器架构，其中编码器仅对可见的patches子集(没有掩码的tokens)进行操作，同时还有一个轻量级的解码器，可以从潜在表示和掩码tokens重建原始图像。其次，我们发现对输入图像进行高比例的掩码，例如75%，会产生一项非凡的、有意义的自监督任务。我们将这两种设计结合起来，就能高效地训练大模型]]></description><category></category></item><item><title><![CDATA[ViT：Vision Transformer经典论文精读 v2]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/125378733</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/125378733</guid><author>weixin_51697828</author><pubDate>Mon, 20 Jun 2022 19:02:42 +0800</pubDate><description><![CDATA[虽然Transformer架构已经成为NLP任务事实上的标准，但其在计算机视觉中的应用仍然有限。在计算机视觉中，注意力机制要么与卷积网络结合使用，要么用来替换卷积网络的某些组件，同时保持其整体架构不变。我们的研究表明，这种对CNN的依赖是不必要的，直接应用于图像patches序列的纯Transformer可以很好地执行图像分类任务。当在大量数据上进行预训练并迁移到多个中小型图像识别基准任务时，我们提出的Vision Transformer(ViT)相比最先进的卷积网络取得了优异结果，同时需要的计算资源也更少]]></description><category></category></item><item><title><![CDATA[Mask R-CNN论文精读]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/125246105</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/125246105</guid><author>weixin_51697828</author><pubDate>Sun, 12 Jun 2022 15:44:17 +0800</pubDate><description><![CDATA[我们提出了一个简单、灵活、通用的实例分割框架，称为Mask R-CNN。我们的方法能够有效检测图像中的目标，同时为每个实例生成高质量的分割掩码。Mask R-CNN通过添加一个预测对象掩码的分支，与现有的边框识别分支并行，扩展了之前的Faster R-CNN。Mask R-CNN的训练很简单，只为Faster R-CNN增加了一小部分开销，运行速度为5帧/秒。此外，Mask R-CNN很容易泛化到其他任务，如人体姿态估计。我们展示了Mask R-CNN在COCO挑战赛的实例分割、目标检测和人物关键点检测任务]]></description><category></category></item><item><title><![CDATA[VideoMAE：掩码自编码器是用于自监督视频预训练的高效利用数据的学习者]]></title><link>https://blog.youkuaiyun.com/weixin_51697828/article/details/125117105</link><guid>https://blog.youkuaiyun.com/weixin_51697828/article/details/125117105</guid><author>weixin_51697828</author><pubDate>Fri, 03 Jun 2022 22:57:44 +0800</pubDate><description><![CDATA[在本文中，我们提出了一种用于视频Transformer预训练的简单且高效的自监督学习方法(VideoMAE)。VideoMAE引入了极高掩码率和tube掩码策略两种关键设计，使视频重建任务更具挑战性。这项艰巨的任务鼓励VideoMAE学习更多有用的特征，并缓解信息泄漏问题。实验结果表明，这种简单算法适用于不同规模的视频数据集。我们只需数千个视频片段就可以得到有效的VideoMAE，这对于数据有限的场景具有重要的实用价值。...]]></description><category></category></item></channel></rss>