weixin_45962681的博客

现有的顺序推荐方法要么不能直接处理多模态，要么计算量大。为了解决这个问题，我们提出了一种新的多模态多层感知器（MMMLP），用于维护多模态序列以进行顺序推荐。MMMLP是一种纯粹基于mlp的架构，由三个模块组成：Feature Mixer Layer， Fusion Mixer Layer和Prediction Layer，并且在效率和效率方面都有优势。methods：在本文中，我们提出了一个基于MLP的多模态推荐框架，即MMMLP，可以显式地从各种模态中学习信息。

在本文中，我们提出了M2-Mixer，这是一种基于MLPMixer的结构，具有多头损失，用于多模态分类。它比基于卷积、循环或神经结构搜索的基线模型具有更好的性能，其主要优势是概念和计算简单。所提出的多头损失函数解决了模态优势问题(即当训练算法偏爱其中一种模态时)。

多模态情绪分析和抑郁估计是利用多模态数据预测人类心理状态的两个重要研究课题。以前的研究主要集中在开发有效的融合策略，以交换和整合来自不同模式的心智相关信息。一些基于mlp的技术最近在各种计算机视觉任务中取得了相当大的成功。受此启发，我们在本研究中以特征混合的视角探索了多模态方法。为此，我们引入了完全基于MLP的多模态特征处理框架CubeMLP。CubeMLP由三个独立的MLP单元组成，每个单元都有两个仿射变换。CubeMLP接受所有相关的模态特征作为输入，并在三个轴上混合它们。

给定一个定义为张量的，深度卷积在张量上的每个二维切片可分离地使用二维卷积核Ki，其中i是1到c，深度卷积计算量成本低，广泛应用于高效神经网络的快速推理。

我们提出MLP-Mixer架构(或简称“Mixer”)，这是一个具有竞争力但在概念和技术上都很简单的替代方案，它不使用卷积或自关注。相反，Mixer的架构完全基于多层感知器(mlp)，这些感知器可以在空间位置或特征通道上重复应用。Mixer仅依赖于基本的矩阵乘法例程、对数据布局的更改（重塑和换位）以及标量非线性。intro：图1描述了Mixer的宏观结构。它接受一系列线性投影图像补丁(也称为令牌)，形状为“patches x channels”表，作为输入，并保持该维度。