KARIPAP: Quantum-Inspired Tensor Network Compression of Large Language Models Using Infinite Proj...

一、文章主要内容总结

该研究针对大型语言模型（LLMs）训练推理成本高、能耗大、难以终端部署的核心问题，提出了量子启发的张量网络压缩框架KARIPAP。其核心是结合无限投影纠缠对态（iPEPS）与张量重整化群（TRG）优化，通过结构化张量分解而非单纯减少神经元数量或降低权重精度，实现模型压缩。

核心技术路径：

1. 权重矩阵张量化：将自注意力（SA）和多层感知机（MLP）的稠密权重矩阵重塑为高阶张量，暴露多维参数关联；
2. iPEPS表示：通过二维张量网络建模跨层多向纠缠，突破传统一维矩阵乘积态（MPS）的关联建模限制，适配LLM的多头注意力结构；
3. TRG优化：采用分层粗粒化和截断策略，将指数级复杂度的张量收缩转化为多项式复杂度（(O(\chi^6))，(\chi)为键维度），平衡压缩率与表征保真度；
4. 分布式微调：在多GPU环境下对压缩模型微调，减少设备间数据传输开销，提升训练与推理效率。

实验结果（基于LLaMA-2 7B）：

• 压缩性能：最高实现93%内存缩减和70%参数压缩，模型体积从27.1GB降至2.1GB；
• 效率提升：训练速度加快50%，推理吞吐量提升25%；
• 精度保留：仅2-3%的精度损失，在语言理解、常识推理等多类基准测试中表现优于传统量化方法；
<