神经网络模型的压缩，优化及部署；Model compression & optimization, deployment

最新推荐文章于 2025-07-23 09:26:44 发布
原创 最新推荐文章于 2025-07-23 09:26:44 发布 · 1.3k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了模型压缩与优化的关键技术，包括模型量化、知识蒸馏、剪枝和低秩分解等方法，旨在减小模型体积并提高运行效率。介绍了NVIDIA TensorRT在GPU上的高性能推理优化，以及MobileNets等轻量级网络的设计理念。
部署运行你感兴趣的模型镜像

Model deployment,compression & optimization

No matter how great your ML models are,if they take just milliseconds too long,

users will click on something else.

-模型研究、训练和 模型推理是一对矛盾

Model Research& Train:  Better, bigger, slower，hardware more powerful

Model inference:  faster，smaller，IOT/mobile/constrained computing

=Make models faster

-Inference optimization

NVIDIA TensorRT

TensorRT is a SDK/C++ library that facilitates high-performance inference on GPUs.

-

TensorRT Started： https://developer.nvidia.com/tensorrt-getting-started

TensorRT download https://developer.nvidia.com/nvidia-tensorrt-download

Documents : https://docs.nvidia.com/deeplearning/tensorrt/archives/index.html

https://github.com/NVIDIA/TensorRT

Ubuntu1804+CUDA10.0安装TensorRT7

https://blog.youkuaiyun.com/u011681952/article/details/105973996

 

-Make models smaller

-Model Compression

-1.Quantization 2. Distillation 3.Pruning 4.Low-ranked factorization

-Make models smaller: case study

How We Scaled Bert To Serve 1+ Billion Daily Requests on CPUs

https://robloxtechblog.com/how-we-scaled-bert-to-serve-1-billion-daily-requests-on-cpus-d99be090db26

https://blog.roblox.com/2020/05/scaled-bert-serve-1-billion-daily-requests-cpus/

-

-Deploy a model on cloud

-

-Export a model

-Turn models into binary formats

-部署方式：

hosted Model,App,Endpoint

-Containerized deployment

-Creating a Docker image with Dockerfile
-Container registry
-Container: microservices
  Kubernetes: container orchestration
-

-

=Test
Canary testing
A/B testing
Interleaved experiments
Shadow testing

==================================================

faster:Inference optimization

NVIDIA TensorRT 

https://developer.nvidia.com/tensorrt

start： https://developer.nvidia.com/tensorrt-getting-started

guide： https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html

 

github https://github.com/NVIDIA/TensorRT

TensorRT is a C++ library that facilitates high-performance inference on NVIDIA graphics processing units (GPUs). It is designed to work in a complementary fashion

with training frameworks such as TensorFlow, Caffe, PyTorch, MXNet, etc.It focuses specifically on running an already-trained network quickly and efficiently on a GPU

for the purpose of generating a result (a process that is referred to in various places as scoring, detecting, regression, or inference).

=================================================

smaller:Model Compression

-韩松Han Song博士2015年在斯坦福/英伟达发表的Deep Compression是模型压缩方面很重要的论文。

在Deep Compression中，作者提出三种方法来进行模型压缩：剪枝，量化和霍夫曼编码。

==1.Quantization

 

神经网络模型量化论文小结

https://blog.youkuaiyun.com/u012101561/article/details/80868352

Tensorflow模型量化(Quantization)原理及其实现方法

https://zhuanlan.zhihu.com/p/79744430

==2. Distillation

以DistilBert为例：

Distillation效果: 模型尺寸减少40%，语言理解能力保留97%,速度提升60%.

-

Softmax modify:

-

-模型训练方式：

-

-三重损失函数Loss：

蒸馏Loss，语言模型Loss，余弦距离Loss

-

-

-

--

 

BERT蒸馏,DistilBERT、Distil-LSTM、TinyBERT、FastBERT（论文+代码）

https://blog.youkuaiyun.com/qq_38556984/article/details/109256544

TinyBERT蒸馏：小模型在只有原始BERT模型13%参数量的情况下，推断加速达到9倍，

同时在自然语言处理标准评测GLUE上获得原始BERT模型96%的效果。

TinyBERT: 面向预训练语言模型的知识蒸馏方法

https://bbs.huaweicloud.com/blogs/195703

https://blog.youkuaiyun.com/fengzhou_/article/details/111433457

DistilBert解读

https://blog.youkuaiyun.com/fengzhou_/article/details/107211090

Bert瘦身之DistilBert

https://zhuanlan.zhihu.com/p/126303499

知识蒸馏（Knowledge Distillation）,Law-Yao

https://blog.youkuaiyun.com/nature553863/article/details/80568658

=================================================

GPT优化

-

 

==3.Pruning

剪枝对应这篇论文：Learning both Weights and Connections for Efficient Neural Networks。

具体讲,剪枝将模型中不重要的权重设置为0，将原来的dense model转变为sparse model，达到压缩的目的。

论文使用三步方法修剪冗余连接：

首先，训练网络以了解哪些连接很重要。接下来，修剪不重要的连接。最后，重新训练网络以微调其余连接的权重。

在ImageNet数据集上，我们的方法将AlexNet的参数数量减少了9倍，从6100万到到670万，而不会造成准确性损失。

-解决什么问题

如何在不损失精度的前提下，对DNN进行剪枝（或者说稀疏化），从而压缩模型。

-why剪枝work

为什么能够通过剪枝的方法来压缩模型呢？难道剪掉的那些连接真的不重要到可以去掉吗？论文中，作者指出，DNN模型广泛存在着参数过多的问题，具有很大的冗余。

-怎么做剪枝

作者的方法分为三个步骤：

  • Train Connectivity: 按照正常方法训练初始模型。作者认为该模型中权重的大小表征了其重要程度；
  • Prune Connection: 将初始模型中那些低于某个阈值的的权重参数置成0（即所谓剪枝）；
  • Re-Train: 重新训练，以期其他未被剪枝的权重能够补偿pruning带来的精度下降；

为了达到一个满意的压缩比例和精度要求，2和3要重复多次。

 

-

-算法流程摘自Han Song博士论文

-对神经元进行剪枝

将神经元之间的connection剪枝后（或者说将权重稀疏化了），那些0

输入0输出的神经元也应该被剪枝了。然后，我们又可以继续以这个神经元出发，剪掉与它相关的connection。

这个步骤可以在训练的时候自动发生。

Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding，

https://arxiv.org/abs/1510.00149

Learning both Weights and Connections for Efficient Neural Networks

https://www.groundai.com/project/learning-both-weights-and-connections-for-efficient-neural-networks/

https://xmfbit.github.io/2018/03/14/paper-network-prune-hansong/

==4.Low-ranked factorization

-以MobileNets为例：

-MobileNets是Google针对手机等嵌入式设备提出的一种轻量级的深层神经网络;重点在于压缩模型，同时保证精度。

深度可分卷积（depthwise separable convolution）是卷积神经网络中对标准的卷积计算进行改进所得到的算法，

其通过拆分空间维度和通道（深度）维度的相关性，减少了卷积计算所需要的参数个数，并在一些研究中被证实提升了卷积核参数的使用效率 。

深度可分卷积分为两部分，首先使用给定的卷积核尺寸对每个通道分别卷积并将结果组合，该部分被称为depthwise convolution，

随后深度可分卷积使用单位卷积核进行标准卷积并输出特征图，该部分被称为pointwise convolution。

-

- depthwise separable convolution ：depthwise convolution + pointwise convolution

MobileNets是基于一个流线型的架构，它使用深度可分卷积算法来构建轻量级的深层神经网络。

深度可分离卷积depthwise separable convolution，它是一种可以分解的卷积：可以将标准卷积分解为深度卷积depthwise convolution和逐点卷积pointwise convolution。

简单理解就是矩阵的因式分解。深度卷积将每个卷积核应用到每一个通道，而1 × 1卷积用来组合通道卷积的输出，这种分解可以有效减少计算量，降低模型大小。
-

-       图a中的卷积核就是最常见的3D卷积，分解为deep-wise方式：一个逐个通道处理的2D卷积（图b）和一个3D的1*1卷积（图c）

-可以这样理解：

-

-

 

MobileNets: Efficient Convolutional Neural Networks for MobileVision Applications

https://arxiv.org/abs/1704.04861

https://blog.youkuaiyun.com/u010349092/article/details/81607819

网络解析（二）：MobileNets详解

https://cuijiahua.com/blog/2018/02/dl_6.html

轻量化网络：MobileNets

https://blog.youkuaiyun.com/u011995719/article/details/78850275

 

【完】

====================================================================

====================================================================

Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman coding,
https://arxiv.org/abs/1510.00149

韩松博士毕业论文Efficient methods and hardware for deep learning论文详解

https://blog.youkuaiyun.com/weixin_36474809/article/details/85613013

All The Ways You Can Compress BERT
http://mitchgordon.me/machine/learning/2019/11/18/all-the-ways-to-compress-BERT.html
A Survey of Methods for Model Compression in NLP

https://www.pragmatic.ml/a-survey-of-methods-for-model-compression-in-nlp/
 

 

 

 

您可能感兴趣的与本文相关的镜像

TensorRT-v8.6

TensorRT-v8.6

TensorRT

TensorRT 是NVIDIA 推出的用于深度学习推理加速的高性能推理引擎。它可以将深度学习模型优化并部署到NVIDIA GPU 上，实现低延迟、高吞吐量的推理过程。

从计算机视觉（Computer Vision）的角度出发，从传统机器学习的特征工程、分类器设计和优化，到深度学习的CNN架构设计、训练优化、模型压缩与推理部署，详细阐述了图像识别领域最新的技术发展方向
AI天才研究院
07-30 2188
在现代信息技术的快速发展过程中，图像识别技术越来越重要。早期的人工智能算法主要侧重于特征提取、分类或回归任务。近几年，随着神经网络（Neural Networks）在图像识别领域的不断突破，很多研究人员将目光投向了深度学习（Deep Learning）的应用。深度学习技术通过堆叠多层神经网络模型来自动学习到图像数据的高级特征表示，并据此对图像进行分类、检测或者定位。虽然深度学习技术取得了令人瞩目的成果，但它的性能仍然受限于传统算法所设计到的参数量与计算能力的限制。
模型压缩：在边缘设备部署轻量级AI Agent
最新发布
AI大模型应用之禅
10-31 265
随着AI技术的快速发展，越来越多的应用场景需要在边缘设备上部署AI模型。然而，边缘设备通常具有有限的计算资源、存储空间和能源供应，这使得直接部署大型神经网络模型变得不切实际。模型压缩技术应运而生，旨在保持模型性能的同时显著减小模型大小和计算需求。本文的范围涵盖模型压缩的主要技术路线、数学原理、实现方法以及在边缘设备上的实际部署策略。神经网络剪枝(Pruning)量化(Quantization)知识蒸馏(Knowledge Distillation)
模型压缩（Model compression）
热门推荐
This is Yu SI's blog. Kenny(司宇SIYU)
12-18 1万+
网络剪枝（Network Pruning） 前言 深度神经网络（DNN）有个很大的缺点就是计算量太大。为克服这类问题，研究人员在两方面做了工作。第一，使用高性能硬件加速；第二，使用模型压缩（Model compression）。 网络剪枝就是模型压缩其中的一个方法，除此之外，还有量化（Quantization）、低秩分解（Low-rank factorization）、知识蒸馏（Knowledge distillation）。 网络剪枝研究的核心问题就是：如何有效地裁剪模型参数且最小化精度的损失。 网络剪枝
Deep-Compression-Compressing-Deep-Neural-Networks-with-Pruning-Trained-Quantization-and-Huffman:这是https的pytorch实现
05-10
深度压缩压缩深度神经网络，并带有经过修剪训练的量化和霍夫曼算法 这是文件的pytorch实现。 Pytorch版本：0.4.0
DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN
落地生根
05-04 5707
深度压缩：采用修剪，量子化训练和霍夫曼编码来压缩深度神经网络 学习模型压缩知识，记录此篇论文学习过程。 论文链接： https://arxiv.org/abs/1510.00149 论文Pytorch实现GitHub链接： https://github.com/mightydeveloper/Deep-Compression-PyTorch ABSTRACT DNN是计算密集型和内存密集型的模型，...
MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION 论文笔记
weixin_30271335的博客
01-22 586
摘要 　　深度神经网络（DNN）继续取得重大进展，解决从图像分类到翻译或强化学习的任务。受到相当大关注的领域的一个方面是在资源受限的环境中有效地执行深度模型，例如移动或嵌入式设备。本文重点讨论了这个问题，并提出了两种新的压缩方法，它们共同利用大型网络称为“教师”的权重量化和蒸馏，进入压缩的“学生”网络。我们提出的第一种方法称为量化蒸馏，并在训练过程中利用蒸馏，将蒸馏损失（相对于教师网络表...
model compression
MrTeq的专栏
07-30 841
***开源***： intel distiller pytorch : https://github.com/NervanaSystems/distiller tencent ai lab pocketFlow: https://github.com/Tencent/PocketFlow   https://www.jiqizhixin.com/articles/2017-10-29   ...
Transformer模型压缩实战：从300MB到8MB的部署优化
m0_63176915的博客
07-23 1272
模型压缩技术助力Transformer模型高效部署 摘要：随着Transformer模型参数量剧增（如BERT-base达110M参数/418MB），模型压缩技术成为解决资源受限设备部署难题的关键。本文系统阐述了三大核心压缩方法：(1)量化技术通过FP32→INT8转换实现4倍体积缩减和2-3倍加速；(2)知识蒸馏将BERT-base压缩至TinyBERT（28M参数）时精度损失<2%；(3)ONNX转换实现跨平台优化部署。实验显示，组合应用这些技术可将300MB原始模型压缩至8MB，CPU延迟从12
Python里TensorFlow的模型压缩技术
Python编程之道的博客
04-25 1111
随着深度学习模型变得越来越复杂，模型大小和计算需求呈指数级增长。这给模型部署，特别是在资源受限的设备上带来了巨大挑战。本文旨在全面介绍TensorFlow框架中可用的模型压缩技术，帮助开发者在不显著损失模型精度的情况下，大幅减小模型体积并提高推理速度。文章首先介绍模型压缩的基本概念，然后深入探讨各种压缩技术的原理和实现。随后通过实际案例展示这些技术的应用，最后讨论未来发展趋势。模型压缩(Model Compression)：减少神经网络模型大小和计算复杂度的技术量化(Quantization)
AIGC领域模型压缩：技术与应用的完美结合
AI天才研究院
05-10 877
算力瓶颈：训练单次Stable Diffusion需数千张A100显卡，中小企业难以负担部署门槛：移动端设备（如手机、嵌入式芯片）内存普遍小于8GB，无法运行GB级模型能效需求：碳中和目标下，数据中心能耗需降低30%-50%本文聚焦模型压缩技术在AIGC领域的落地，涵盖从基础理论到工程实践的全流程，适配云端服务器、边缘设备、移动端等多场景部署需求。核心技术解析：量化、剪枝、知识蒸馏、架构优化四大模块原理数学建模与代码实现：关键算法的数学推导与Python示例实战指南。
模型压缩(Model compression)
starlight1231的博客
02-06 1092
模型压缩
模型压缩(model compression)
m0_47405013的博客
01-25 1336
模型压缩
神经网络的量化与压缩：模型优化与部署
AI天才研究院
12-30 1105
1.背景介绍 神经网络在近年来取得了巨大的进步，成为了人工智能领域的核心技术。然而，随着模型规模的增加，神经网络的计算开销也随之增加，这给模型的部署和实际应用带来了很大的挑战。因此，模型优化和压缩成为了研究的热点。本文将介绍神经网络的量化与压缩技术，以及如何进行模型优化和部署。 2.核心概念与联系
神经网络模型的压缩与量化：介绍一些主流模型压缩技术，并用TensorFlow框架演示实践这些技术
AI天才研究院
08-13 358
神经网络(NN)模型一直是人工智能领域的热门话题，其主要解决的是深度学习任务，在计算机视觉、自然语言处理等领域取得了很大的成功。但随着模型规模的扩大，训练时间也越来越长，部署到产品环节时效率也越来越低。如何减少模型的大小并提升其速度和性能至关重要。近年来，深度学习模型的压缩技术和量化技术也逐渐火起来。本文将介绍一些主流模型压缩技术，并用TensorFlow框架演示实践这些技术。深度学习(Deep Learning) 是利用多层非线性变换将输入数据转换成输出数据的算法。
深度学习_模型压缩及移动端部署_模型压缩及移动端部署基础知识（持续更新）
欢迎大家关注我
03-17 1354
为什么要模型压缩？ 深度神经网络模型需要巨大的计算开销和内存开销，严重阻碍了资源不足情况下的使用。 模型的参数在一定程度上能够表达其复杂性，但并不是所有的参数都在模型中发挥作用，部分参数作用有限、表达冗余，甚至会降低模型的性能。 复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗使其难以有效的应用在各硬件平台上。 模型压缩定义 模型压缩：指利用数据集对已经训练好的深度模型进行精简，...
【DeepCV】模型压缩
北境の守望者
03-28 431
Backto DeepCV 模型压缩，或曰 精简网络设计，目的是压缩一个模型，让它可以更好的部署到手机、无人机、FPGA 等上面去。当然前提是保证精度差不多，但是模型小了，功耗低了，在嵌入式上跑起来就顺畅了。 大致流程是: input: pre-trained model process: a mixed formula of pruning/distillation/quantization...
flask部署神经网络模型
weixin_48592695的博客
08-29 833
1.GET请求 GET请求把参数包含在url里，GET是获取数据的 2.POST请求 POST请求通过request body传递参数，用于修改服务器上的数据 3.flask部署模型api
深度学习模型的压缩和部署
sinat_37281674的博客
09-26 839
深度学习模型的压缩和部署一、模型的压缩一些有用的链接1、深度学习模型加速与落地部署（1）、模型压缩之NNI全网最完善的全流程教学（一）2、【商汤实习总结】深度学习模型部署与落地3、使用ONNX部署深度学习和传统机器学习模型4、如何上线部署Pytorch深度学习模型到生产环境中 一、模型的压缩 一些有用的链接 1、深度学习模型加速与落地部署 https://zhuanlan.zhihu.com/c_1287038616917315584 这个博客中有多篇关于深度学习模型加速和部署的博客，下面列出看过的几篇 （
模型压缩介绍：Model Compression for Neural Networks
AI天才研究院
09-27 1785
什么是模型压缩？为什么要进行模型压缩呢？有哪些类型的模型压缩方法？本文将详细介绍一下模型压缩的相关知识。模型压缩（model compression）是一种广义上的优化方法，目的是为了减少神经网络（NN）的体积、参数数量或者延迟时间，从而达到提高神经网络推理速度、节省存储空间等目的。在深度学习中，训练得到的模型往往过于复杂，占用大量的内存和计算资源。因此，在实际应用中，需要对模型大小、计算开销进行一些程度上的压缩，来减小模型的体积、加快推理速度或实现更精确的效果。这就是模型压缩的目的。
用huggingface本地化部署大模型
08-06
Deploying large models locally using Hugging Face involves several steps, including setting up the environment, downloading the model, and managing resources efficiently. Here's a comprehensive guide: ### Setting Up the Environment Before deploying a large model, ensure that your system meets the hardware requirements. Large models require significant computational resources, typically a powerful GPU or multiple GPUs. Install the necessary software dependencies, such as Python, PyTorch, and Transformers library from Hugging Face. Additionally, consider using a virtual environment to manage dependencies cleanly. ### Downloading the Model To work with a model locally, download it using the `from_pretrained` method provided by the Transformers library. This method allows you to specify the model name or path and download it directly onto your machine. For instance, if working with a model similar to those mentioned in the context of large-scale models [^1], you would use: ```python from transformers import AutoModelForSequenceClassification, AutoTokenizer model_name = "bert-base-uncased" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name) ``` ### Managing Resources Large models can be memory-intensive. To mitigate this, utilize techniques such as mixed precision training, gradient checkpointing, and model parallelism. Mixed precision training reduces memory usage and speeds up computation by using lower precision data types. Gradient checkpointing saves memory by recomputing activations during backpropagation instead of storing them. Model parallelism distributes different parts of the model across multiple GPUs. For models with hundreds of billions of parameters, like OPT or BLOOM, consider using specialized libraries or frameworks designed to handle such scale, such as DeepSpeed or Fairseq. These tools offer advanced optimization techniques that can significantly reduce the memory footprint and improve training efficiency [^1]. ### Serving the Model Once the model is loaded and optimized, create a service to interact with it. Use frameworks like Flask or FastAPI to build a RESTful API that exposes endpoints for making predictions. This setup enables applications to send requests to the model and receive responses over HTTP. ```python from fastapi import FastAPI from transformers import pipeline app = FastAPI() classifier = pipeline('sentiment-analysis') @app.post("/predict") def predict(text: str): result = classifier(text) return {"result": result} ``` ### Optimization Techniques To further optimize the deployment, consider implementing caching mechanisms for frequently queried inputs, and use batch processing to handle multiple requests simultaneously. Also, explore model compression techniques, such as pruning and quantization, which can reduce the model size without significantly compromising performance. ### Monitoring and Maintenance Regularly monitor the model's performance and resource utilization. Tools like Prometheus and Grafana can help track metrics such as latency, throughput, and GPU utilization. Implement logging to capture errors and understand the model's behavior under varying loads. ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值