Zeroshot Multimodal Named Entity Disambiguation for Noisy Social Media Posts_biji

最新推荐文章于 2022-09-21 16:30:02 发布

原创

最新推荐文章于 2022-09-21 16:30:02 发布 · 752 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#知识图谱 #实体消岐

本文探讨了在处理噪声社交媒体帖子时，如何使用零样本多模态实体消歧（Zeroshot Multimodal Named Entity Disambiguation, ZMND）技术。该技术涉及实体指称识别、候选实体生成和消岐等多个步骤，并利用知识图谱嵌入和词汇嵌入模型。在论文中，作者提出了一种mned网络，预测实体的标签嵌入以匹配知识图谱中的相应实体。研究还讨论了为何需要分别学习KG embedding和lexical embedding，以及它们在多模态表示中的作用。实验结果证实了KG embedding和多模态信息对于提高消歧效果的重要性。" 112889726,10331480,Vuex状态管理：数据渲染与修改详解,"['前端开发', 'Vue', 'Vuex']

前提

需要的知识点比较多，比如实体指称识别，候选实体生成，候选实体消岐，few-shot, zero-shot，实体链指，提及等， attention机制里的key value 原理。

知识点补充

few-shot, zero-shot（学习到的映射）
实体链指，提及、候选生成
将文本中的实体指称mention链向其在给定知识库中的目标实体的过程
流程：实体指称识别、候选实体生成和候选实体消岐。
候选实体生成是确定文本中的实体指称可能指向的实体集合

attention机制里的key value 原理

论文内容

mned网络来预测与相应的知识图谱嵌入在同一空间中的实体的标签嵌入。
在这里插入图片描述

词汇嵌入模型，确定提及和潜在实体之间的词汇相似性
在这里插入图片描述

疑问

为什么要分别学习KG embedding和 lexical embedding？
KG embedding 是为了用来把图文映射到一个空间的，不使用KG embeding，使用其它的映射到一个空间的就可以，比如随机方式而不是用pretrain的方式。
lexcial embedding 用最相似作为最终结果，是直接使用的。KG embedding是基础。KG embedding是用来学习整个句子和图片的，lexical是学习其中的mention和entity的，粒度不一样。
实验部分，

有v无v的

最低0.47元/天解锁文章