18、图像推荐与疫情数据知识图谱技术解析

图像推荐与疫情数据知识图谱技术解析

1. OntoKnowNHS模型介绍

OntoKnowNHS模型是一种用于图像推荐的方法，其输入为用户查询和Flickr30k数据集，输出是根据用户输入从网页中推荐的图像。以下是该模型的具体算法步骤：
1. 查询预处理 ：对用户查询q进行分词、词形还原和停用词去除操作。
2. 查询词提取与本体创建 ：提取查询词q1，并使用命名实体识别创建查询术语丰富的领域本体q3。
3. 特征与标注提取及知识丰富 ：从数据集中提取图像特征Img，同时提取文本标签或注释，并借助Google的知识库API和Wikidata进行知识丰富。
4. 图像知识图谱创建与分类 ：创建图像的知识图谱，使用卷积神经网络（CNN）将其与提取的图像特征Img进行比较，从而对图像进行分类。
5. 图像集创建与特征比较 ：通过CNN1得到分类图像集A，再使用另一个CNN2模型将图像特征与图像的知识图谱进行比较。
6. 图像标签生成与语义相似度计算 ：通过CNN进行图像特征比较，得到图像标签B。然后使用三种方案计算从数据集中提取的知识丰富注释与图像标签B之间的语义相似度：
- 当图像标签B与数据集丰富注释的归一化压缩距离和概念相似度> 0.75时，设置集合X。
- 当NCD较低时，设置集合Y。
- 当KL散度< 0.25时，设置集合Z。
- 设置集合P = (集合X ∪ 集合Y ∪ 集合Z)。