[笔记.AI]大模型的蒸馏、剪枝、量化 | 模型压缩 | 作用与意义

已于 2025-02-18 16:19:13 修改
阅读量582 收藏 2
点赞数 10
CC 4.0 BY-SA版权
分类专栏： 由AI辅助创作 AI 技术理解 文章标签： 人工智能
于 2025-02-18 15:24:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/debug_fan/article/details/145706908

        上周简单整理了《deepseek-r1的不同版本（满血版、蒸馏版、量化）》，这次继续完善对其的认知——补充“剪枝”，并进一步整理蒸馏、剪枝、量化的作用与意义。

以下摘自与DeepSeek-R1在线联网版的对话

蒸馏、剪枝、量化是当前主流的三大模型压缩技术124。其核心作用与特点如下：

1. 核心地位与作用

技术 核心作用 典型应用场景
剪枝 通过移除冗余参数或结构降低模型复杂度 移动端推理、实时影像分析
量化 将高精度参数转为低精度表示，减少存储和计算需求 边缘设备部署、大规模服务化
蒸馏 将大模型知识迁移到小模型，保留核心推理能力 医疗诊断助手、复杂逻辑系统

2. 技术特性对比

维度 剪枝 量化 蒸馏
操作对象 权重/神经元/层4
最低0.47元/天 解锁文章

200万优质内容无限畅学
深度学习模型压缩：量化、剪枝与蒸馏实战
s13166803785的博客
05-25 45
深度学习模型压缩：量化、剪枝与蒸馏实战
深度学习笔记——模型压缩和优化技术（蒸馏、剪枝、量化）
haopinglianlian的博客
11-30 3513
本文详细介绍模型训练完成后的压缩和优化技术：蒸馏、剪枝、量化。
教你三步实现大模型瘦身：剪枝 + 稀疏训练 + PyTorch实操
最新发布
网罗天下方法，方便你我开发！！！
07-04 1602
当你在边缘设备或移动端部署一个大模型时，最大的阻碍往往不是算法，而是模型太“胖”：体积大、推理慢、功耗高。这时候，剪枝和稀疏化技术就派上用场了。通过“剪掉”模型中那些对结果影响不大的神经元或通道，我们可以大幅压缩模型体积，同时尽可能保留原有性能，甚至在某些任务上还能提速。
模型压缩入门：知识蒸馏与大模型量化技术实战
2501_91624122的博客
05-23 495
随着深度学习模型规模的增大，计算成本、存储需求和推理时间也随之增加，限制了其在资源受限设备上的部署。模型压缩技术应运而生，旨在减少模型的大小和计算复杂度，同时尽量保持性能。本文介绍了模型压缩的基础概念，并详细探讨了两种常用技术：知识蒸馏和模型量化。知识蒸馏通过训练较小的学生模型模仿较大的教师模型，实现知识迁移；模型量化则将模型的权重和激活值从浮点数转换为低比特表示，减少存储和计算需求。通过实战案例，本文展示了如何使用PyTorch实现知识蒸馏和模型量化，帮助读者快速掌握这些技术。
LLM 剪枝+蒸馏：NVIDIA 的最佳实践
m0_59235945的博客
09-26 1365
本文中，作者探索了两种不同的 LLM 剪枝策略：（1）深度剪枝和（2）联合 Hidden、Attention、MLP 的宽度剪枝，并使用 LM 评估框架 Harness 进行常见基准评估。然后将模型与 NeMo Aligner 对齐，并在 Instruct-tuned 版本中进行测试。使用提出的剪枝和蒸馏将 LLaMA 3.1 8B 和 Mistral NeMo 12B 模型分别压缩为 4B 和 8B 参数的模型。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2915
TensorFlow相关组件的安装
【大模型开发】大模型蒸馏、剪枝、量化方法三者进行结合的端到端应用案例
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
03-14 1158
示例展示了一个端到端的案例，将模型蒸馏（Distillation）、剪枝（Pruning）和量化（Quantization）三者结合，以获得一个更小、更高效的大语言模型（或类似 Transformer 模型）部署版本。该示例基于 PyTorch 与 Hugging Face Transformers 库，演示了从知识蒸馏（Teacher -> Student）到模型剪枝与量化的完整流程，并给出了关键代码与解释。
『大模型笔记』量化 vs 剪枝 vs 蒸馏：为推理优化神经网络！
AI新视界
05-28 1356
让我们总结一下我们在本视频中所涵盖的内容。首先是量化。量化使用不太精确的数据格式来减少模型的大小和延迟。当你将格式从FP32减少到Int8时，这会导致4倍的减少。最好与能够更快地执行低精度格式的低精度执行引擎结合使用。一个缺点是它可能会导致准确度下降，尽管希望不会太多。剪枝是将你的神经网络的一些权重设置为零以节省空间和计算。为了使其有效，要求执行引擎能够执行稀疏神经网络。与量化类似，它也可能导致准确度下降。知识蒸馏是我们涵盖的唯一一种可以修改模型架构的方法。
大模型学习路线（5）—— 大模型压缩（量化、剪枝、蒸馏、低秩分解），推理（vllm）
热门推荐
qq_51175703的博客
05-05 1万+
一、模型压缩目标：（1）减少模型显存占用；（2）加快推理速度；（3）减少精度损失。 二、模型压缩算法分类（如何降低权重和激活成本）：（1）模型量化（quantization（2）参数剪枝（pruning）（3）知识蒸馏（knowledge distillation）
大模型之大模型压缩（量化、剪枝、蒸馏、低秩分解），推理（vllm）
2401_86435672的博客
10-07 2221
一、模型压缩目标：（1）减少模型显存占用；（2）加快推理速度；（3）减少精度损失。二、模型压缩算法分类（如何降低权重和激活成本）：（1）模型量化（quantization）：旨在通过减少模型参数的表示精度来降低模型的存储空间和计算复杂度；（2）参数剪枝（pruning）：旨在通过删除模型中的不重要连接或参数来减少模型的大小和计算量；（3）知识蒸馏（knowledge distillation）：指通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。
Llama 4B剪枝蒸馏实战
新缸中之脑
08-26 1188
大型语言模型 (LLM) 因其有效性和多功能性，如今已成为自然语言处理和理解领域的主导力量。LLM（例如 Llama 3.1 405B 和 NVIDIA Nemotron-4 340B）在许多具有挑战性的任务中表现出色，包括编码、推理和数学。然而，它们的部署需要大量资源。因此，业界还有另一种趋势，即开发小型语言模型 (SLM)，这种模型在许多语言任务中足够熟练，但部署到大众中却便宜得多。
【大模型开发】Distillation（知识蒸馏）技术原理与代码案例分析
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
03-11 2293
以下内容将全面剖析大模型的知识蒸馏（Distillation）技术，包括其基本原理、常见方法、在大规模模型（如 GPT/BERT/LLM）上的应用场景与挑战，以及可运行的 PyTorch 示例。知识蒸馏是近年来模型压缩的重要手段之一，对大语言模型的实际部署有显著帮助
大模型模型瘦身技术：剪枝、蒸馏、量化
2301_79455190的博客
03-03 1066
近来，大型语言模型（LLM）在各种任务中表现出色。然而，即便有卓越的任务处理能力，LLM 却面临着巨大的挑战，这些挑战源于其巨大的规模和计算需求。举个例子，GPT-175B 版本具有惊人的 1750 亿参数，至少需要 320GB（使用 1024 的倍数）的半精度（FP16）格式存储。此外，部署此模型进行推理还需要至少五个 A100 GPU，每个 GPU 具有 80GB 的内存，这样才能有效地保证运行。为了解决这些问题，当下一种被称为模型压缩的方法可以成为解决方案。
大模型高效化三大核心技术：量化、蒸馏与剪枝详解
ttyy1112的专栏
04-29 1321
这些技术正在推动大模型从"可用"到"好用"的转变，根据MIT最新研究，通过组合优化可使LLaMA-2在手机端实现20token/s的生成速度。实际应用中需要权衡精度-效率-成本的"不可能三角"，通常需要针对具体场景进行调优。将模型参数从高精度（如FP32）转换为低精度（如INT8/INT4）表示，显著减少内存占用和计算开销。让小型学生模型模仿大型教师模型的行为，保留知识的同时减少参数量。移除模型中冗余的神经元或连接，保留关键参数。
【大模型】量化、剪枝、蒸馏
zkw54334的博客
02-19 1285
大模型的量化、剪枝和蒸馏是三种常用的模型优化技术，旨在减少模型的复杂性，降低计算资源消耗，并加速推理过程。
LLM学习：大模型微调＆蒸馏＆裁剪
python12222_的博客
09-25 969
通过在多种设置下训练不同的LLMs，展示了合成的Case2Code数据不仅可以提高LLMs在归纳推理任务上的性能，还可以提升它们在一般编程任务上的能力。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。即使在重新训练模型后，也难以弥补这些任务的性能损失，这表明虽然这些层中存储的大部分信息是多余的，但其中的某些部分可能是关键任务所必需的。
使用NNI对BERT模型进行粗剪枝、蒸馏与微调
qq_20144897的博客
05-03 1万+
使用NNI框架对BERT模型进行粗剪枝、蒸馏与微调
【大模型开发】剪枝 (Pruning)技术原理与代码案例分析
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
03-11 1679
以下内容将详细介绍大模型的剪枝 (Pruning) 技术：从基本概念和常用方法，到大模型（如 Transformer 类模型）特有的应用挑战与实践，再通过一个基于 PyTorch 的可运行示例演示如何对模型进行简单的剪枝操作。
大模型压缩部署实战：量化、蒸馏与推理加速全流程
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-17 861
大模型越来越强，但部署越来越难。尤其是在多模态、私有化、端侧或企业集成环境中，如何将一个几十GB的大模型压缩、量化、提速、落地，成为工程成功与否的关键。 > 本文将系统讲解 **主流大模型压缩与推理加速技术路径**，包括 INT4/INT8 量化、知识蒸馏、结构裁剪、推理引擎优化（ONNX、TensorRT、vLLM）等内容，结合 Megatron-LM、LLaVA、BLIP2 等框架，搭建一个**“小而快但不失精度”的模型部署链条
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

俊哥V

这是个嘛？

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值