2025_NIPS_VLM in a flash: I/O-Efficient Sparsification of Vision-Language Model via Neuron Chunking

文章核心总结与翻译

一、主要内容

该研究聚焦于边缘设备上视觉语言模型（VLM）的闪存卸载推理优化，核心解决传统激活稀疏化方法忽视存储访问模式、导致I/O开销过高的问题。

1. 背景挑战：边缘设备（如Jetson Orin系列）内存有限，需通过闪存卸载存储VLM权重，但传统稀疏化仅依据神经元激活幅度选择神经元，忽略闪存访问连续性对性能的影响——VLM具有平滑的激活分布（非ReLU激活函数与多视觉令牌平均导致），分散访问会严重降低吞吐量，反而增加延迟。
2. 核心方法：提出NEURON CHUNKING（神经元分块）策略，通过以下关键组件实现I/O高效稀疏化：
   • 连续性分布抽象：将内存访问模式简化为连续神经元组（块）的频率分布，捕捉硬件I/O行为；
   • 基于块的延迟模型：通过离线基准测试构建延迟查找表，快速估算任意访问模式的I/O延迟；
   • 效用导向块选择：以“神经元重要性/延迟”为效用评分，贪心选择高性价比的连续块，平衡精度与延迟；
   • 冷热重排序预处理：按神经元激活频率重排权重矩阵，提升访问连续性。
3. 实验结果：在Jetson Orin Nano和AGX设备上，基于5个VLM模型（LLaVA-OneVision-7B等）和3个基准数据集（TempCompass等）的测试显示：
   • 保持相当精度时，平均I/O延迟分别降低2.19×（Nano）和