Re55：读论文 Entities as Experts: Sparse Memory Access with Entity Supervision

诸神缄默不语-个人优快云博文目录
诸神缄默不语的论文阅读笔记和分类

论文名称：Entities as Experts: Sparse Memory Access with Entity Supervision
模型名称：Entities as Experts (EaE)

ArXiv网址：https://arxiv.org/abs/2004.07202

本文是2020年EMNLP论文。作者来自谷歌。
这篇文章也贯彻了谷歌论文的风格，那就是非常难读。

EaE的核心思想从文本中学习实体表征，结合到LM中做QA任务

为每个实体构建独立的表征，然后EaE再将其用于QA
① MLM预测实体 ② 获取每个实体的正确memory （用了现成的实体识别工具和维基百科超链接）

1. 模型公式

Entity Memory Layer：

伪实体表征（头尾表征）：

在实体嵌入表中找伪实体表征的K近邻，加权求和：

Task-Specific Heads：
TokenPred and EntityPred（实体嵌入中离伪实体表征最近的）

Inference-time Mention Detection：
mention detection layer
BIO预测实体

损失函数：
(1) a mention boundary detection loss, (2) an entity linking loss, and (3) a masked language modeling loss

2. 实验

下游任务：cloze knowledge probes, opendomain question answering and relation extraction