Mamba4Net: Distilled Hybrid Mamba Large Language Models For Networking

Mamba4Net 文章总结与翻译

一、主要内容

本文针对基于Transformer的大型语言模型（LLMs）在网络领域应用时存在的二次时间复杂度、模型规模庞大导致的计算开销和内存限制问题，提出了Mamba4Net框架——一种跨架构知识蒸馏框架。该框架受Deepseek-R1模型启发，将Transformer-based LLMs中的网络特定知识迁移到具有线性时间复杂度的Mamba架构学生模型中，在过滤无关知识的同时，实现模型压缩与效率提升。

为验证有效性，Mamba4Net在三个典型网络任务（视口预测VP、自适应比特率流ABR、集群作业调度CJS）中进行测试，结果显示：相较于非LLM方法，任务性能更优；相较于直接使用Transformer-based LLMs，吞吐量提升3.96倍，模型存储量仅为前者的5.48%，且在资源受限环境中表现突出。文章还通过消融实验验证了LLM预训练知识和跨异构权重复用机制对模型性能与训练效率的关键作用。

二、创新点

1. 领域知识导向的跨异构蒸馏（DKO）：首次实现从Transformer LLMs到Mamba模型的网络特定知识蒸馏，将二次复杂度降至线性，同时过滤无关信息，聚焦领域核心知识。
2. 跨异构权重复用（CWR）：提出创新的权重初始化方法，通过低秩分解将Transformer教师模型的注意力块权重转化为紧凑因子，用于初始化Mamba学生模型参数，缩小架构间表示差距，解决传统随机初始化导致的训练不稳定和开销大问题。