深度学习在多模态意图识别中的研究综述

原创已于 2025-09-22 11:42:16 修改 · 1.4k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #深度学习 #神经网络

于 2025-09-22 11:40:55 首次发布

推荐系统专栏收录该内容

16 篇文章

订阅专栏

该文章已生成可运行项目，

📖 原文论文：Deep Learning Approaches for Multimodal Intent Recognition: A Survey
🔗 论文地址：arXiv:2507.22934
✍️ 作者：Jingwei Zhao Jingwei Zhao, Yuhua Wen, Qifei Li, Minchi Hu, Yingying Zhou, Jingyao Xue, Junyang Wu, Yingming Gao, Zhengqi Wen, Jianhua Tao, Ya Li
🎉 发布时间：2025年7月
🎯 关键词：多模态学习、意图识别、深度学习、大语言模型、Transformer

一、研究背景与意义

意图识别（Intent Recognition）旨在从用户的自然交互数据（文本、语音、视觉、脑电等）中推断其潜在目标。
随着人工智能和深度学习的快速发展，意图识别在人机交互、对话系统、智能家居、医疗健康、智能驾驶 等领域发挥着越来越重要的作用。

最早的研究主要集中在单模态（unimodal）意图识别，如基于文本的意图分类。但单一模态容易受噪声、语义歧义或信息缺失影响，难以满足复杂场景需求。
因此，近年来研究逐渐转向多模态意图识别（Multimodal Intent Recognition, MIR），通过融合文本、音频、视觉、生理信号等信息来提升准确率与鲁棒性。

论文指出：Transformer 和大语言模型（LLM）的引入，为多模态意图识别带来了新的突破。
Fig.1：代表性方法与数据集时间线

图 1：代表性方法与数据集时间线

二、论文整体结构与主要贡献

论文结构非常清晰，涵盖了：数据资源 → 单模态方法 → 多模态方法 → 评测指标 → 应用与挑战 → 未来方向。
在这里插入图片描述

图2：论文组织结构图

主要贡献可总结为三点：

系统性回顾：从早期的规则方法到深度学习，从单模态到多模态，全面梳理意图识别的发展脉络。
资源与评测标准：整理了大量公开数据集和常用评测指标，形成一个统一的参考框架。
应用与展望：总结现实应用中的挑战（如模态异质性、数据缺失、未知意图检测），并展望未来趋势。

这类综述文章的价值在于：不仅能帮助初学者快速入门，还能让研究人员更清晰地定位自己的工作在整体发展中的位置。

三、意图识别的数据资源

数据集是推动研究的重要基石。论文将意图识别任务的数据集进行了分类，并提出了一个三大类的意图分类体系：

情绪与态度类（Emotion & Attitude）
表达主观情感，如赞美、抱怨、拒绝。
目标达成类（Goal Achievement）
明确请求某种操作或服务，如预订、查询、建议。
信息与陈述类（Information & Declaration）
以客观描述为主，如陈述事实、说明情况。

常用数据集示例

文本类：
- ATIS（航班查询，早期经典）
- SNIPS（7类意图，复杂度适中）
- CLINC150（150类意图，开放域评测标杆）
- BANKING77（金融领域专用，77类意图）
对话类：MultiWOZ（多轮对话，跨领域）
语音类：SLURP（大规模语音语义理解数据集）
视觉类：Intentonomy（社会心理学分类，28类意图）
多模态类：
- MIntRec（文本+视频+音频，基于美剧 Superstore）
- IntentQA（视频问答，侧重因果与时间推理）
- MIntRec2.0（多方对话，规模更大）
- MINE（社交媒体数据，强调真实世界场景）

在这里插入图片描述

论文还介绍了一些工具：

TEXTOIR：文本开放意图识别的集成可视化平台，支持未知意图的发现与聚类。 https://github.com/thuiar/TEXTOIR
Rhino：Picovoice开发的开源语音到意图引擎，支持离线实时识别，非常适合IoT和嵌入式设备。 https://github.com/Picovoice/rhino

四、单模态意图识别方法

1. 文本意图识别

发展历程：

基于规则/机器学习：如 SVM、决策树，但需要大量特征工程。

图 3：机器学习的文本意图识别

深度学习模型：CNN 提取局部特征，RNN 建模时序依赖。

图 4：基于CNN/RNN的文本意图识别

Transformer & BERT：引入自注意力机制，大幅提升性能。

图 5：文本意图识别的BERT模型

LLM 阶段：通过 Prompt + In-Context Learning 支持零样本/小样本意图识别。

图 6：基于LLM的文本意图识别模型

2. 视觉意图识别

从 说服性意图识别（视觉线索，如表情、动作、背景）发展到 心理学驱动的 Intentonomy 数据集。
新方法强调：原型学习（PIP-Net）、层次结构（LabCR）、多粒度特征（MCCL）。

在这里插入图片描述

图7：视觉意图识别的分类范式和基于原型的范式

3. 音频意图识别

传统管线：ASR + NLU，缺点是误差累积。
端到端 E2E：直接从语音到意图分类。
预训练模型：Wav2Vec、HuBERT，提升鲁棒性。
创新方向：零样本意图识别、语义蒸馏、跨模态对齐。

在这里插入图片描述

图 8：三种音频意图识别框架

4. EEG 意图识别

EEG 主要应用在 脑机接口（BCI） 场景，如康复、辅助机器人。
模型发展：从 RNN/CNN 到图神经网络（G-CRAM）、Transformer（PerBCI、TSE-DA-AWS）。
趋势：跨主体泛化、低成本设备、与其他模态结合。

五、多模态意图识别方法

论文提出的 三阶段管道：

特征提取 → 文本用 BERT，语音用 Wav2Vec，视觉用 ResNet/Swin Transformer
多模态表示学习 → 核心环节（融合、对齐、知识增强、多任务）
意图分类 → Softmax / 原型对比学习 / LLM 生成

在这里插入图片描述

图 9：多模态意图识别的深度学习管道

在这里插入图片描述

图 10：MIR的基本模态融合方法

方法分类

融合方法：
- 特征级（早融合）：细粒度，但要求模态对齐严格。
- 决策级（晚融合）：独立预测再合并，鲁棒性强。
- 混合融合：兼顾两者优点。
对齐与解耦：
- 对齐（contrastive learning, cross-modal attention）
- 解耦（DuoDN、LVAMoE），分离共享/独有特征。
知识增强：
- 借助 LLM 提供推理能力（如 A-MESS、CaVIR）。
- 使用检索增强外部知识。
多任务协同：
- 同时优化意图与情感识别任务，提升鲁棒性。