BigGod139的博客

基础模型目前为深度学习中大多数令人兴奋的应用提供动力，它们几乎都基于Transformer架构及其核心注意力模块。许多亚二次时间架构，如线性注意力机制、门控卷积和循环模型，以及结构化状态空间模型（SSM），已被开发出来以解决Transformer在长序列上计算效率低下的问题，但它们在语言等重要模态上的表现不如注意力机制。我们发现这类模型的一个关键弱点是无法进行基于内容的推理，因此做出了几项改进。

主流的序列转导模型基于包含编码器和解码器的复杂循环神经网络或卷积神经网络。性能最佳的模型还通过注意力机制将编码器和解码器连接起来。我们提出了一种新的简单网络架构——Transformer，它完全基于注意力机制，完全摒弃了循环和卷积操作。在两项机器翻译任务上的实验表明，这些模型在质量上更具优势，同时具有更高的可并行性，且训练时间显著减少。我们的模型在WMT 2014英德翻译任务上达到了28.4的BLEU得分，比包括集成模型在内的现有最佳结果提高了2分以上BLEU。

本文提出了一个基于孪生神经网络的航空跟踪器（SmallTrack），该框架通过小波池化层和图增强模块，显著提升了模型在复杂航空场景中精确跟踪小目标的能力，同时保持了72.5帧/秒的高速运行速度。

YOLOv13

Wavelet Convolutions for Large Receptive Fields

我们提出了一种简单而强大的卷积神经网络架构，其推理时主体类似VGG，仅由一堆3×3卷积和ReLU组成，而训练时模型具有多分支拓扑结构。这种训练时和推理时架构的解耦通过结构重参数化技术实现，因此该模型被命名为RepVGG。据我们所知，在ImageNet上，RepVGG的top-1准确率超过80%，这是简单模型首次达到这一水平。