FaE：基于符号知识的适应性和可解释的神经记忆

©原创作者 | 朱林

论文解读：

Facts as Experts: Adaptable and Interpretable Neural Memory over Symbolic Knowledge

论文作者：

Google Research

论文地址：

https://arxiv.org/abs/2007.00849

收录会议：

NAACL 2021

01 介绍

大规模语言模型，如BERT、Transformer等是现代自然语言建模的核心，其已被证明可以编码进大量的常识和事实（Fact）信息，是许多下游应用的基础。

然而，这些知识只存在于模型的潜在参数中，无法进行检查和解释。更糟糕的是，随着时间和外部环境的变化，从训练语料库中学习并记忆的事实信息可能会过时或出错。

为了解决这些问题，本文作者开发了一种神经语言模型Facts-as-Experts (FaE)，其在神经网络语言模型和符号知识库（symbolic KB）之间建立了一个桥梁，将深度神经网络的表达能力优势和符号知识库的推理能力优势进行了有机结合。

实验表明，该模型在两个知识密集型问答任务中显著提高了性能。更有趣的是，该模型可以通过操纵其符号表示来更新模型而无需重新训练，且该模型允许添加新的事实并以早期模型不可能的方式覆盖现有的事实。

02 模型

符号定义