结构化任务关系提升组合式LLM多模态推理

推进组合式大语言模型在多模态交互通信中的结构化任务关系推理

交互式多模态应用（IMAs），如车联网中的路径规划，通过无线网络集成多种形式数据来丰富用户的个性化体验。近期大语言模型（LLM）采用混合专家（MoE）机制支持多个IMA，每个LLM针对呈现不同业务工作流的特定任务单独训练。

与现有依赖多个LLM实现IMA的方法不同，本文提出一种新颖范式，通过单一组合式LLM在无线网络上完成多种IMA。两个主要挑战包括：1）指导单一LLM适应多样化IMA目标；2）在资源受限的移动环境中确保LLM的灵活性和效率。

针对第一个挑战，提出ContextLoRA方法，通过构建任务依赖图指导LLM学习IMA间的丰富结构化上下文。为每个IMA划分神经网络层的可学习参数矩阵以促进LLM组合。随后开发基于任务关系的分步微调流程，包括训练、冻结和掩码阶段，使LLM能够学习任务间的推理以实现更好适配，捕获任务间的潜在依赖关系。

针对第二个挑战，引入ContextGear调度策略优化ContextLoRA的训练过程，通过策略性分组机制最小化计算和通信成本。在三个基准测试上的实验证明了所提ContextLoRA和ContextGear的优越性。此外，在真实无线测试平台上对提出范式进行原型验证，展示了其在不同IMA中的实际适用性。代码将向社区开源。

本文已被IEEE JSAC接收。本作品已提交IEEE可能出版
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
公众号二维码