SpikingMamba: Towards Energy-Efficient Large Language Models via Knowledge Distillation from Mamba

最新推荐文章于 2025-11-23 19:13:18 发布
最新推荐文章于 2025-11-23 19:13:18 发布
阅读量164 收藏
点赞数 4
CC 4.0 BY-SA版权
分类专栏： LLM Daily Distilling 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/154350126

这篇文章聚焦于解决大语言模型（LLMs）高能耗问题，提出了基于脉冲神经网络（SNN）的SpikingMamba模型，核心是通过知识蒸馏从Mamba模型迁移能力，在大幅提升能效的同时最小化精度损失。
在这里插入图片描述

一、文章主要内容总结

  1. 研究背景

    • 现有LLMs（包括Mamba）依赖密集矩阵运算，能耗高，难以部署在边缘设备；SNN虽通过稀疏脉冲降低能耗，但现有SNN-based LLMs存在“精度-能效”权衡，且全量预训练成本极高。
    • 对比量化与SNN两种能效优化方案：量化无法消除密集矩阵运算的固有成本，而SNN通过二进制脉冲的时间和通道稀疏性，能进一步缓解边缘设备的I/O瓶颈。

  2. 核心方案：SpikingMamba模型

    • 基于预训练Mamba模型，通过单阶段知识蒸馏迁移能力，无需全量预训练；同时引入强化学习（DPO/KTO）进一步提升精度。
    • 关键组件包括：三元整数脉冲神经元（TI-LIF）、训练专属的平滑梯度补偿路径（SGC），以及“蒸馏+RL”的混合训练框架。

  3. 实验结果

    • 1.3B参数的SpikingMamba相比原Mamba，能效提升
了解本专栏 订阅专栏 解锁全文 超级会员免费看
ICCV 2025 Accepted Papers （四）
前行居士
07-20 1365
ID # 601 # paper title # ForeSight: Multi-View Streaming Joint Object Detection and Trajectory ForecastingAuthors # Sandro Papais · Letian Wang · Brian Cheong · Steven WaslanderID # 602 # paper title # DialNav: Multi-turn Dialog Navigation with a Remote Gu
2025年顶会、顶刊SNN相关论文----------持续更新中
lanpeople的博客
12-12 9355
这篇博客主要用于记录2025年在一些顶会顶刊（AAAI、CVPR等）上发表的SNN相关的论文，会附上相关论文的链接及简单介绍，正在更新中…
LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
02-16 2839
​ LLMs：《Large Language Models A Survey综述调查》翻译与解读—概述了早期预训练语言模型发展史→介绍了3个流行的LLM家族及其它代表性模型→构建、增强和使用LLM的方法和技术→数据集和基准→未来方向和挑战 目录 《Large Language Models A Survey大型语言模型的综述调查》翻译与解读 Abstract摘要 I. INTRODUCTION引言 II. LARGE LANGUAGE MODE
字节发布统一多模态模型Show-o！苹果发布PDS复杂算术任务精度爆涨近20%！Jamba-1.5无损支持256K上下文长度
强化学习曾小健
08-24 1480
论文可以让你更快地了解最新研究进展，掌握最新的技术和理论。这对于自身的科研能力和竞争力非常重要，尤其是在快速发展的学科领域，下面小编带你来看大模型最近的研究成果。
AAAI2021论文列表（中英对照）
dovings的博客
07-04 1万+
AAAI2021论文列表（中英对照）
【AAAI 2021】全部接受论文列表（六）
yinizhilianlove的博客
01-14 6974
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
51c大模型~合集99
whaosoft~aiotの开发板商城
12-31 2026
最成功的≠最复杂的高端的食材，往往需要最朴素的烹饪方式。AI 发展到后半场「大雾散去」，如何让大模型的智力落实成执行力，智能体似乎成了业界的共同答案。从元宝到混元，各类智能体平台如雨后春笋般涌现。上个月，智谱发布 AutoGLM 的发布会上，智能体好像突破了次元壁，一句指令，就拿着手机在现场发了一个总计两万块钱的红包。我们正在见证一个重要的转折点：智能体正在将 AI 的能力从「能说会道」转变为「能做会干」。作为最强大模型厂商的有力竞争者，Anthropic 推出的智能体功能也着实惊艳了我们一把。
面向AI研究的模块化即插即用架构综述与资源整理全覆盖
面向AI前沿技术的深度解析平台，覆盖基础理论、算法优化及产业应用全链路
05-20 1782
在当前深度学习研究日益激烈的背景下，如何高效提升论文创新性与实验迭代效率已成为科研人员关注的核心问题。近年来，“即插即用模块”因其“无缝集成”、“快速启用”的特性，逐渐成为论文中常见的性能增强组件。此类模块通常具备良好的模块化设计和标准化接口，能够灵活适配多种网络架构与任务类型，显著降低模型改进的技术门槛与开发成本。本文围绕当前主流的即插即用模块进行系统梳理，涵盖2025年最新发表于顶会顶刊中的成果，覆盖计算机视觉(CV)、图像处理及其他AI相关任务。
插件8：拼写检查
热门推荐
dearbaba_1666的博客
06-27 16万+
<?php // Plug-in 8: Spell Check // This is an executable example with additional code supplie
论文阅读：A Survey on RAG Meeting LLMs: Towards Retrieval-AugmentedLarge Language Models
m0_53605808的博客
07-13 1096
作为人工智能领域最先进的技术之一，检索增强生成（RAG）能够提供可靠且最新的外部知识，为众多任务带来极大便利。尤其在人工智能生成内容（AIGC）时代，检索技术在提供额外知识方面的强大能力，使 RAG 能够辅助现有的生成式 AI 产出高质量结果。近年来，大型语言模型（LLMs）在语言理解与生成方面展现出革命性能力，但仍存在固有局限性，如幻觉现象和内部知识过时等问题。
InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
s_m_c的博客
08-05 1179
进一步，冻结image encoder和LLM的参数，将Instruction文本分别加入到Q-Former输入端和LLM的输入端，训练Q-Former参数，具体的交互形式见上面的流程解读。这样的好处在于对于同一张图片，根据不同的instruction，我们可以得到基于instruction偏好更强的视觉特征，同时对应于两个不一样的图片，基于instruction内嵌的通用知识，可以使得模型有更好的知识迁移效果。另外，ALBEF可以看成是BLIP的前传，同样和三者的联系很深。作者主要提出了两点贡献。
《MiniLLM: Knowledge Distillation of Large Language Models》论文阅读
Barbie_WZC的博客
03-10 1166
知识蒸馏（Knowledge Distillation, KD）是一种有前景的技术，能够减少LLMs的高计算需求。然而，以往的KD方法主要应用于白盒分类模型或通过模仿黑箱模型API（如ChatGPT）来训练小型模型。如何有效地将白盒LLMs的知识蒸馏到小型模型中仍然是一个未充分探索的领域，而随着开源LLMs的兴起，这一问题变得愈发重要。在本研究中，我们提出了一种KD方法，将LLMs蒸馏到较小的语言模型中。
人工智能安全（三）CODES：CodeS: Towards Building Open-source Language Models for Text-to-SQL
m0_37697141的博客
11-11 1519
语言模型在将自然语言问题转换为SQL查询（文本到SQL）的任务中表现出了良好的性能。然而，大多数最先进的（SOTA）方法都依赖于强大但闭源的大型语言模型（LLM），如ChatGPT和GPT-4，这些模型可能存在模型架构不明确、数据隐私风险和昂贵的推理开销等局限性。为了解决这些局限性，我们引入了CodeS，这是一系列预先训练的语言模型，参数范围从1B到15B，专门为文本到SQL任务设计。CodeS是一个完全开源的语言模型，它以更小的参数大小实现了更高的精度。本文研究了构建CodeS的研究挑战。
黄仁勋GTC开场：「AI-XR Scientist」来了！
2501_94005722的博客
11-20 1311
丛乐 (Le Cong)，斯坦福大学医学院病理学系和遗传学系教授。他被公认为是 CRISPR 基因编辑领域的奠基人之一。早在哈佛大学攻读博士学位期间，丛乐在导师张锋（Feng Zhang）和乔治・丘奇（George Church）的指导下，作为第一作者在 Science, Cell, Nature 杂志上发表了数篇标志性论文，首次证实 CRISPR/Cas9 系统可以在哺乳动物和人类细胞中实现基因编辑，为这一革命性技术的后续应用奠定了基石。
传统NLP算法
记录成长‌，知识沉淀，连接同行‌
11-19 742
传统NLP算法与当前大模型的对比分析 传统NLP算法主要基于规则和统计模型（如HMM、CRF、SVM），依赖人工特征工程和领域知识，适合特定任务但泛化能力有限。其优势在于可解释性强、计算资源需求低。典型应用包括分词、命名实体识别和文本分类等。 现代大模型（如Transformer架构LLM）采用预训练-微调范式，通过海量数据自动学习语言表示，具备强大的生成能力和跨任务迁移性。它们能处理复杂任务如对话生成和多语言翻译，但需巨额计算资源。 二者存在技术演进关系：大模型继承了传统NLP的核心思想，但通过深度学习实
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1491
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 459
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
最新发布
人生不是轨道，是旷野。希望每天都有好心情。
11-23 149
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
创客匠人 2025 高峰论谈（11.22-25）：AI 智能体重构创始人 IP 打造与知识变现的管理逻辑
ckjrxx的博客
11-20 629
这一 “数据化定位逻辑”，将在。创客匠人峰会筹备阶段强调，AI 智能体的核心意义是 “解放人”—— 将创始人从机械性工作中解放，专注知识体系迭代、用户信任构建等核心价值创造，让知识变现从 “个人生意” 升级为 “企业级业务”。创始人 IP 定位的核心是 “找到市场需求与核心能力的交集”，传统模式本质是 “个体直觉管理”，而 AI 智能体通过数据化管理思维，将定位转化为可量化、可追溯的流程。这些问题本质是企业管理中 “个体能力” 与 “系统效率” 的失衡，而 AI 智能体的出现，正从管理底层重构这一逻辑。
InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning复现
02-26
### 如何复现 InstructBLIP 通用视觉-语言模型及其指令微调方法 #### 准备工作环境 为了成功复现 InstructBLIP 模型，首先需要准备适当的工作环境。这通常涉及安装必要的软件包和依赖项。建议使用 Python 和 PyTorch 来构建此项目。 ```bash conda create -n instructblip python=3.8 conda activate instructblip pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 ``` #### 获取数据集 InstructBLIP 的训练依赖于大规模的数据集来学习丰富的特征表示。这些数据集应包含配对的图像和文本描述。常用的数据集包括 COCO Captions, Visual Genome 等[^2]。 #### 下载预训练模型权重 由于从头开始训练这样的大型模型非常耗时且计算资源密集，因此推荐下载官方发布的预训练模型权重作为起点。可以从 GitHub 或其他公开平台获取最新的预训练版本。 #### 实施指令微调流程 按照论文中的指导，在已有的基础之上实施特定任务导向的指令微调过程。具体来说： - **定义目标任务**：明确希望模型执行的任务类型，比如生成图片说明、问答等。 - **调整输入格式**：确保输入遵循预期结构，即每条记录由一对或多张图像以及相应的自然语言命令组成。 - **修改损失函数**：根据所选任务定制化设计适合的优化目标。 ```python from transformers import BlipForConditionalGeneration, BlipProcessor processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base") model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base") def fine_tune_model(training_data): optimizer = AdamW(model.parameters(), lr=5e-5) for epoch in range(num_epochs): model.train() for batch in training_data: inputs = processor(images=batch['image'], text=batch['instruction'], return_tensors="pt", padding=True) outputs = model(**inputs) loss = outputs.loss optimizer.zero_grad() loss.backward() optimizer.step() fine_tune_model(prepared_dataset) ``` 通过上述步骤可以有效地实现 InstructBLIP 模型的本地部署与进一步开发应用。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值