记忆融合网络MFN
第一个组成部分:每个视图都被赋予一个LSTM函数组件独立编码每个视图
第二个组成部分:Delta-memory Attention Network (DMAN) ,通过lstm系统来发现跨视图交互作用
第三个组成部分:存储跨视图信息在多视图门控记忆
视图N={l,v,a}
第n个视图的输入数据Xn = 【xn]
1.System of LSTMs
对于第n个视图,分配的LSTM被表示为,t是时间戳
每个LSTM的输出定义为
System LSTM允许不同视图具有不同输入、记忆和输出形状
第n个LSTM的更新规则如下: