2025_NIPS_Distributed Inference and Fine-tuning of Large Language Models Over The Internet

文章总结与翻译

一、主要内容

本文聚焦于大语言模型（LLMs）在推理和微调过程中对高端硬件的依赖问题，提出了一种基于互联网的分布式解决方案，核心内容如下：

1. 背景与问题：500亿参数以上的大语言模型（如Llama 2 70B、BLOOM 176B）在自然语言处理任务中表现优异，但推理和微调需海量显存（如BLOOM-176B推理需超350GB加速器内存），普通研究者难以获取高端硬件；现有参数卸载技术在交互式场景（如聊天机器人）中效率低下，且分布式方案未解决设备不可靠、硬件异构、节点动态加入/退出等问题。
2. 核心方案：设计了去中心化系统PETALS，通过整合互联网中多个研究团队和志愿者的闲置计算资源，实现大模型的高效推理与微调。系统采用流水线并行策略，结合容错推理算法和负载均衡协议，解决了设备断连、硬件异构等关键问题。
3. 关键技术：
   • 容错推理算法：通过双注意力缓存（服务器端+客户端），在节点故障时快速恢复，避免重新执行整个推理过程；
   • 分布式负载均衡：服务器周期性调整所承载的模型层，最大化系统总吞吐量，支持异构硬件和动态节点；
   • 量化与压缩：采用8位/4位量化、动态块量化等技术，降低显存占用和网络带宽需求，且不影响模型性能；
   • 参数高效微调：客户端存储可训练参数（如适配器、软提示），服务器仅执行前向/反向传播计算，支持多任务并行且无干扰。
4. 实验验证