【论文笔记】在CommonsenseQA 上追平人类： 通过External Attention 增强 Self-Attention

Human Parity on CommonsenseQA: Augmenting Self-Attention with External Attention

 论文链接：https://www.microsoft.com/en-us/research/uploads/prod/2021/12/CSQA_KEAR.pdf

Abstract

目前大多数都专注在self-attention 和Transformer架构来提升性能。

本文：使用外部attention机制来增强Transformer架构，将上下文与外部知识结合。将外部信息整合到预测过程。提出了Knowledgeable External Attention for commonsense Reasoning (KEAR)常识推理的知识外部注意，在开放的 CommonsenseQA 研究基准上达到人类同等水平，准确度为 89.4%，而人类准确度为 88.9%

 Introduction

Transformer模型开发过程中规模较大的模型往往具有更好地学习能力，尤其是与大规模数据结合。但大量研究表明，这些巨大模型的相应理解和生成能力仍然落后于人类（Bommasani et a