Human Parity on CommonsenseQA: Augmenting Self-Attention with External Attention

论文链接:https://www.microsoft.com/en-us/research/uploads/prod/2021/12/CSQA_KEAR.pdf
Abstract
目前大多数都专注在self-attention 和Transformer架构来提升性能。
本文:使用外部attention机制来增强Transformer架构,将上下文与外部知识结合。将外部信息整合到预测过程。提出了Knowledgeable External Attention for commonsense Reasoning (KEAR)常识推理的知识外部注意,在开放的 CommonsenseQA 研究基准上达到人类同等水平,准确度为 89.4%,而人类准确度为 88.9%
Introduction
Transformer模型开发过程中规模较大的模型往往具有更好地学习能力,尤其是与大规模数据结合。但大量研究表明,这些巨大模型的相应理解和生成能力仍然落后于人类(Bommasani et a

最低0.47元/天 解锁文章
700





