多模态融合“开挂”:可解释性让 A| 瞬间“智商爆表”!

如今，现有关于多模态融合的研究多集中在模型性能的提升上，对可解释性的探索相对较少。然而，可解释性不仅是提升用户信任的关键，更是优化模型决策的重要途径，尤其在医疗、金融等高敏感领域，透明AI的需求日益迫切。

传统多模态融合模型往往被视为“黑箱”，尽管性能优异，但决策过程缺乏透明度。近期研究证明，可解释性不仅不会牺牲性能，反而能通过显式推理路径提升模型的准确性和鲁棒性。例如，知识图谱与强化学习的结合，能够通过分层决策生成可解释的推理路径，同时适应复杂的用户行为模式。

在医疗领域，可解释的多模态融合模型展现出巨大潜力。通过整合跨模态知识挖掘与时间信息嵌入，模型能够捕捉治疗过程中的动态变化，为个性化治疗提供支持。这种灵活的处理方式不仅提升了预测精度，还允许输入数据的部分缺失，极大增强了模型的临床适用性。

可解释多模态融合的研究仍处于起步阶段，对可解释多模态融合感兴趣的同学，可以关注我们整理的【12篇】最新研究成果，为你的研究提供灵感。

感兴趣的可以 [丝 xin] 我~~

【论文1】Explainable Session-Based Recommendation via Path Reasoning

Details of knowledge graph construction: (a) extracting image features; (b) splitting relations based on different product domains; (c) merging duplicate entities

1.研究方法

The overview of the proposed framework

论文提出分层强化学习框架 PR4SR，会话级代理从会话中选择重要物品作为路径推理起点，路径级代理在知识图谱中生成可解释路径；设计多目标奖励机制适应序列模式的跳跃行为，引入路径中点奖励提升探索效率，结合图像特征增强知识图谱的完整性和路径多样性 。

2.论文创新点

An example explaining the design of Path Midpoint Reward. v7 is the goal node

• 分层强化学习框架：首次将会话级代理与路径级代理结合，通过分层决策实现会话推荐的可解释性，会话级代理动态选择关键物品，路径级代理在知识图谱中生成推理路径 。

• 多目标奖励机制：设计多目标奖励机制，适应序列模式中的跳跃行为，鼓励模型探索非相邻物品间的可解释路径，同时引入路径中点奖励优化知识图谱探索效率 。

• 图像特征增强知识图谱：通过图像识别提取产品特征补充知识图谱，提升实体关联性并丰富解释路径形式，解决传统知识图谱信息不全的问题 。

• 通用可解释性框架：提出通用框架可与现有会话推荐模型结合，在提升推荐准确性的同时提供显式推理路径，实验证明在多个数据集上优于现有方法 。

论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10742303

【论文2】An explainable longitudinal multi-modal fusion model for predicting neoadjuvant therapy response in women with breast cancer（Nature)

Breast cancer neoadjuvant therapy pathway

1.研究方法

Workflow of the study

论文提出多模态响应预测（MRP）系统，整合跨模态知识挖掘与时间信息嵌入策略，处理纵向多模态数据，包含 iMGrhpc 和 iMRrhpc 两个模型分别基于 Pre-NAT 乳房 X 线和纵向 MRI，结合 rhpc 数据，最终融合二者预测结果 。

2.论文创新点

Six readers averaged performance with Baseline DL models and MRP on internal test sets across the NAT care.

• 跨模态知识挖掘：通过交叉模态知识预测模块，利用图像特征预测其他模态数据，提升模型对影像数据的利用效率，增强模型的泛化能力 。

• 时间信息嵌入：将时间信息融入纵向输入，捕捉治疗过程中不同阶段的动态变化，提升模型在纵向数据上的预测性能，适应临床治疗过程的动态性 。

• 灵活输入处理：设计支持灵活输入的模型架构，允许处理缺失模态数据，减少对特定数据的依赖，提高模型在不同临床场景下的适用性和鲁棒性 。

• 临床决策支持：通过决策曲线分析评估模型在不同临床场景下的应用价值，为个性化治疗决策提供支持，具有潜在的临床转化意义 。

论文链接：https://www.nature.com/articles/s41467-024-53450-8.pdf

感兴趣的可以 [丝 xin] 我~~