Transformer顶会最新进展 | 含IJCAI,CVPR,AAAI2023等会议论文

原创

于 2023-07-11 16:54:06 发布 · 1.3k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#transformer #深度学习 #人工智能 #IJCAI #CVPR #AAAI #大模型

Transformer模型凭借其注意力机制在NLP领域展现出卓越性能，被广泛应用在机器翻译、文本生成等任务。研究者不断探索新的注意力机制和模型压缩技术，以优化Transformer的效率和性能，使其在代码生成等任务中也得到成功应用。同时，Transformer架构在多个顶会论文中被进一步发展，涉及图像处理、音频处理和图结构任务等多个方向。

Transformer 模型是自然语言处理领域中的一种最先进的模型，它使用注意力机制来处理任意长度的输入文本，并且可以学习语言模式和规律。近年来，随着计算能力的不断提高，Transformer 模型已经被广泛应用于机器翻译、文本生成、文本分类等任务中。同时，Transformer 模型也被应用于代码生成任务中，通过训练模型来生成高质量的代码。

Transformer作为提升NLP效率的黑魔法，在自然语言处理领域发生了巨大的影响，如当下火热的GPT-3 和 lang-8 等，就是基于Transformer架构构建的大语言模型。近年来，研究者们在注意力机制方面进行了广泛的研究。其中，一些研究者提出了基于注意力机制的新方法，如自适应的注意力机制和全局注意力机制。这些新方法为 Transformer 模型的改进提供了新的思路。同时，为了更好地利用计算资源，研究者们提出了许多模型压缩方法，如剪枝、量化和蒸馏等。这些方法可以帮助研究者们更好地利用已有的 Transformer 模型，并提高模型的性能和效率。

Transformer 模型的最新进展表明，它已经成为自然语言处理领域中最重要的模型之一，并且在许多任务中取得了最先进的性能。

关于Transformer模型的顶会论文列表如下（由于篇幅关系，本篇只展现部分顶会论文，可复制文末链接，直达顶会会议列表，查看所有论文）

1.Singularformer: Learning to Decompose Self-Attention to Linearize the Complexity of Transformer

2.Towards Long-delayed Sparsity: Learning a Better Transformer through Reward Redistribution

3.HDFormer: High-order Directed Transformer for 3D Human Pose Estimation

4.CiT-Net: Convolutional Neural Networks Hand in Hand with Vision Transformers for Medica