Routing Distilled Knowledge via Mixture of LoRA Experts for Large Language Model based Bundle Gen...

文章总结与翻译

一、文章主要内容

本文聚焦大型语言模型（LLMs）在自动商品组合生成（Bundle Generation）任务中的应用痛点——虽有潜力但计算成本高昂，且直接融合教师LLM蒸馏的不同类型知识会引发知识冲突、降低模型性能。为此，作者提出RouteDK框架，核心内容如下：

1. 知识蒸馏阶段：从教师LLM中提取两种互补知识——高层知识（可泛化规则，如“每个组合至少包含2件商品”）和细粒度知识（会话特定推理，如“购买GPU、CPU和主板的用户通常在组装高性能电脑”）。
2. 专家设计阶段：构建3个基于LoRA的专用专家模块，分别适配不同知识类型：基础专家（Base Expert）处理原始会话数据，高层知识专家（High-level Expert）学习泛化规则，细粒度知识专家（Fine-grained Expert）捕捉会话内个性化推理。
3. 动态融合阶段：设计输入感知的动态融合模块，通过轻量级路由网络（Router），根据输入会话的特征在模型各层动态分配专家权重，缓解知识冲突，实现高效知识整合。
4. 推理优化阶段：引入推理时增强模块，采用基于自一致性的测试时缩放策略（多次随机解码+多数投票），降低生成结果的方差，提升推理可靠性。
5. 实验验证：在电子、服装、食品3个公开数据集上验证，RouteDK在精度（Precision）、召回率（Recall）、覆盖率（Coverage）等