文章汉化系列目录
知识图谱与多模态学习的关系研究综述P1
知识图谱与多模态学习的关系研究综述P2
知识图谱与多模态学习的关系研究综述P3
知识图谱与多模态学习的关系研究综述P4
知识图谱与多模态学习的关系研究综述P5
文章目录
IV. 基于知识图谱驱动的多模态学习任务
本节探讨了知识图谱（KGs）在提升多模态学习任务中的作用。作为重要的符号知识载体，知识图谱为需要丰富背景知识的多种任务提供支持，包括但不限于生成、推理、理解、分类、检索和预训练。通过在统一框架下呈现系统的分类结构，我们明确了这些方法的核心方面，以增强领域理解并指导未来研究。
IV-B 分类任务
本节聚焦于利用多模态输入（尤其是文本和图像组合）的分类任务，特别是基于知识的图像分类。此外，还讨论了相关的多模态任务，如虚假新闻检测和电影类型分类，突显了该领域内任务的多样性及其广泛的应用范围。
定义5：知识图谱感知分类。考虑一个带有标签的训练样本集 D t r = { ( x , y ) ∣ x ∈ X , y ∈ Y } D_{tr} = \{(x, y)|x \in X, y \in Y\} Dtr={(x,y)∣x∈X,y∈Y}，其中背景知识图谱定义为 G = { E , R , T } G = \{E, R, T\} G={
E,R,T}，分类器的目标是近似一个函数 f : x → y f : x \rightarrow y f:x→y，将输入 x x x映射到输出标签 y y y，并借助 G G G来实现。此函数应能够准确预测测试集 D t e = { ( x , y ) ∣ x ∈ X ′ , y ∈ Y } D_{te} = \{(x, y)|x \in X', y \in Y\} Dte={(x,y)∣x∈X′,y∈Y}中样本的标签，其中 X ∩ X ′ = ∅ X \cap X' = \emptyset
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
