Zeroshot Multimodal Named Entity Disambiguation for Noisy Social Media Posts_biji

前提

需要的知识点比较多，比如实体指称识别， 候选实体生成，候选实体消岐，few-shot, zero-shot， 实体链指，提及等， attention机制里的key value 原理。

知识点补充

few-shot, zero-shot（学习到的映射）
实体链指，提及、候选生成
将文本中的实体指称mention链向其在给定知识库中的目标实体的过程
流程：实体指称识别、候选实体生成和候选实体消岐。
候选实体生成是确定文本中的实体指称可能指向的实体集合

attention机制里的key value 原理

论文内容

mned网络来预测与相应的知识图谱嵌入在同一空间中的实体的标签嵌入。

词汇嵌入模型，确定提及和潜在实体之间的词汇相似性

疑问

为什么要分别学习KG embedding和 lexical embedding？
KG embedding 是为了用来把图文映射到一个空间的，不使用KG embeding，使用其它的映射到一个空间的就可以，比如随机方式而不是用pretrain的方式。
lexcial embedding 用最相似作为最终结果，是直接使用的。KG embedding是基础。KG embedding是用来学习整个句子和图片的，lexical是学习其中的mention和entity的，粒度不一样。
实验部分，

1. 有v无v的效果区别，说明多模态的有效性。
2. KG embedding 质量好坏的影响