2025_NIPS_HETEROGENEOUS SWARMS: Jointly Optimizing Model Roles and Weights for Multi-LLM Systems

文章核心总结与翻译

一、主要内容

文章提出HETEROGENEOUS SWARMS算法，用于联合优化多LLM系统的模型角色与权重，以适配不同任务需求。该算法将多LLM系统表示为有向无环图（DAG），通过粒子群优化（PSO）实现迭代优化：

1. 角色优化（Role-step）：将模型角色转化为DAG的输入输出关系，通过G-DECODE算法将连续邻接矩阵解码为离散DAG，按拓扑顺序调用LLM并基于效用函数优化。
2. 权重优化（Weight-step）：提出JFK-score量化单个LLM的贡献，基于该分数通过PSO优化模型权重。
3. 实验验证：在12个涵盖知识、推理、智能体等任务的数据集上，该算法平均超越17个基线方法18.5%，展现出显著的协作增益和任务适应性。

二、创新点

1. 首次实现多LLM系统角色与权重的联合动态优化，突破传统固定角色或固定权重的局限。
2. 提出G-DECODE算法，解决离散DAG结构与连续PSO优化的兼容性问题。
3. 设计JFK-score，有效量化单个LLM在多模