论文《Learning by abstraction: The neural state machine》介绍了一种结合神经网络与有限状态机的视觉推理模型。通过构建概念词汇表、状态集和边集，模型能进行抽象表示和序列推理，提高理解和泛化能力。实验表明，该模型在GQA和VQA-CP数据集上表现出优秀的效果和可解释性。
标题：抽象学习:神经状态机
论文资源：NeurIPS2019文献全文 - 学术范 (xueshufan.com)
代码：该项目为网友复现，可参考--> https://github.com/ceyzaguirre4/NSM
一、问题提出
针对神经网络和符号网络各自的优缺点，引入有限自动机的思想，提出一种神经状态机，将各自的互补优势整合到视觉推理任务中。
首先基于给定的图像，使用一个场景图抽取模型，得到对应的概率场景图。其中，对象被转化为节点，并使用属性表示表示特征；关系被转化为边，来捕获对象之间的空间关系和语义关系。此外，对输入的问题进行语义理解，并转化为一系列软指令。在推理过程中，概率场景图被视为一个有限状态机，利用指令集合在其上执行顺序推理，迭代遍历它的节点，以回答一个给定的问题或得出一个新的推理。
不同于一些旨在将多模态数据进行紧密交互的神经网络结构，神经状态机定义了一组语义概念embedding的概念，其描述领域的不同实体和
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
