bevfusion 模型量化 尚未剪枝

已于 2024-07-08 14:43:10 修改
阅读量344 收藏
点赞数 2
文章标签： 剪枝 算法 机器学习
于 2024-06-15 16:27:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44523062/article/details/139666751
版权

量化

QAT： quantilize after training：
需要在 到处onnx 的时候 添加 q和dq 层，然后使用pytorch-quantization 2.1.3 calibration
q dq， 使用resize 和 bias 进行 16表示32位数

剪枝

在这里插入图片描述
在这里插入图片描述

AIchiNiurou
关注
国内首个占据栅格网络全栈课程《从BEV到Occupancy Network，算法原理与工程实践》源代码
迈微AI研习社 · 号主
08-16 696
国内首个占据栅格网络全栈课程《从BEV到Occupancy Network，算法原理与工程实践》，包含端侧部署。
多模态融合目标检测新SOTA！推理速度提升2.7倍，实现最先进性能
学姐带你玩AI的博客
06-03 7613
为解决传统目标检测在复杂环境下效果不佳等问题，研究者们提出了。通过整合来自多个传感器的数据，充分利用不同传感器的优点，多模态融合目标检测能够更全面地捕捉目标信息，显著因此，这种深度学习方法逐渐成为了主流，相关的最新研究成果非常丰富。比如Fusion-Mamba，在公共RGB-IR数据集上实现最佳性能；Fully Sparse Fusion，在推理速度上超越SOTA方法2.7倍。为方便各位理解和复现，我这次整理了，已开源的代码都附上了，论文可参考创新点做了简单分析，希望可以给各位带来一些灵感。
从FastBEV来学习如何做PTQ以及量化
lovely_yoshino的博客
10-10 7523
对于深度学习而言，通过模型加速来嵌入进C++是非常有意义的，因为本身训练出来的pt文件其实效率比较低下，在讲完后，这里我们将以作为例子，来向读者展示如何去跑CUDA版本的Fast-BEV，因为原项目问题比较多，所以作者适配了一个版本。这里最近受到优刻得的使用邀请，正好解决了我在大模型和自动驾驶行业对GPU的使用需求。UCloud云计算旗下的的GPU算力云平台。他们提供高性价比的4090 GPU，按时收费每卡2.08元，月卡只需要1.36元每小时，并附带200G的免费磁盘空间。
【CUDA-BEVFusion】模型量化qat/ptq.py代码说明
old_power的博客
01-23 486
`qat/ptq.py`代码实现了一个**PTQ（Post Training Quantization）**的过程，主要用于对深度学习模型进行量化操作。
从零开始你的部署！BEV检测+BEV车道线+Occupancy三项主流任务（基于TensorRT）
CV_Autobot的博客
04-25 1320
随着特斯拉在AI Day上提出BEV概念，国内外以BEV 为技术栈的感知框架越来越受到大家的认可，这两年几乎离不开BEV这个关键词。站在上帝的视角，BEV非常适合自动驾驶任务，从最初的BEVDet检测方案，到后面BEVFormer、BEVFusion、MapTR、Occupancy等各个任务模型，几乎都以此为基线。目前工业界的自动驾驶技术路线大多围绕三个主要任务展开：3D目标检测、车道线检测、非常...
分割性能超SOTA 6.2%！最新多模态地图构建BEV特征融合网络MapFusion
3D视觉工坊
03-07 121
来源：深蓝AI添加小助理：cv3d001，备注：方向+学校/公司+昵称，拉你入群。文末附3D视觉行业细分群。扫描下方二维码，加入「3D视觉从入门到精通」知识星球(点开有惊喜)，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门秘制视频课程、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！导读自动驾驶系统包括感知、预测、决策、规划...
Lidar AI Solution环境配置
周同学的博客
05-25 7278
Lidar_AI_Solution环境配置
周同学文章汇总
周同学的博客
01-21 7152
博主文章汇总
Transformer~自动驾驶
whaosoft143ai的博客
10-30 309
对于更复杂的情况，其中输入包含静态和动态数据(例如，道路几何形状，车道连接，交通灯等)，由于自关注和昂贵的位置前馈网络对输入序列长度的二次依赖，标准Transformer对广泛的多维序列进行建模是具有挑战性的。最后，我们强调了基于Transformer的模型中的挑战、趋势和当前见解，并在实际应用程序中长期Transformer部署的背景下讨论了它们的硬件部署和加速问题。在之前的调查中，已经对不同自动驾驶任务的深度学习方法进行了回顾和讨论，包括一般性讨论[3]，[10]，[11]，[12]，[13]；
bevfusion 的训练指令常用（no-dcn)
04-01
由于模型训练通常需要大量的计算资源和时间，因此优化模型的训练效率，如通过模型剪枝、量化或者采用更高效的训练算法，也是研究人员关注的重点。 BEVFusion模型通过结合激光雷达和摄像头数据，采用体素化的表示...
使用NNI剪枝工具对VGG16网络进行剪枝，同时使用知识蒸馏对剪枝后结果进行优化。（以猫狗二分类为例）
qq_41572755的博客
06-10 812
本项目以NNI提供的官方实例为基础，尝试自己在VGG16上实现剪枝和蒸馏过程。代码编写完成并进行实际测试后发现，确实可以实现“压缩模型大小"和”保持检测精度“的效果。本项目虽然十分简单，但对于理解模型压缩原理和流程来说，有一定的参考价值。
大模型量化与剪枝
最新发布
eyexin2018的博客
06-14 192
QLoRA 是一种在 4-bit 量化模型基础上使用 LoRA 方法进行训练的技术。它在极大地保持了模型性能的同时大幅减少了显存占用和推理时间。GPTQ 等后训练量化方法(Post Training Quantization)是一种在训练后对预训练模型进行量化的方法。量化加载的参数更多，所以对显存的需求更大。量化有助于减少显存使用并加速推理。量化7B模型，12GB显存不够用。增大至24G显存就够了。
RS-232通讯+SHA-256+AES_ECB - 128算法
ladack的博客
06-11 881
本文介绍了一个基于C语言的串口通信加密程序实现方案
【DRL】最简单的策略梯度(Policy Gradient)算法
xfxuezhang.cn
06-12 446
最简策略梯度(Policy Gradient)算法的实现
用Java实现常见排序算法详解
m0_66884848的博客
06-13 895
本文介绍了6种常见排序算法的Java实现，包括冒泡、选择、插入排序等基础算法，以及快速、归并、堆排序等高效算法。对每种算法从基本思想、时间复杂度分析和Java代码实现三个方面进行详细说明，展示了排序算法的核心逻辑和性能特点。这些排序方法在计算机科学中具有广泛应用，理解其原理和实现有助于提升编程能力和算法思维。
最小费用最大流算法
u011322421的博客
06-14 374
最小费用最大流算法通过SPFA寻找费用最短增广路，使用链式前向星存储正向边和反向边。每次沿最便宜路径增广流量，更新边容量和反向边，最终获得最大流量和最小费用。该算法的核心在于反向边的"反悔"机制和贪心选择策略。时间复杂度主要取决于SPFA的执行次数，适用于解决带费用约束的网络流优化问题。
C语言二维数组的使用详解
轩宇的博客
06-13 606
二维数组是C语言中处理表格、矩阵等结构化数据的重要工具。它本质上是一种特殊的一维数组，其中每个元素又是一个一维数组。下面将详细介绍二维数组的使用方法、内存布局、访问方式及常见应用场景。
1005. Maximize Sum Of Array After K Negations
weixin_41554427的博客
06-11 347
三种方法都是贪心。
可视化图解算法50：最小的K个数
weixin_42117918的博客
06-10 709
对于数据结构与算法，我们总结了一套【可视化+图解】方法，依据此方法来解决相关问题，算法变得易于理解，写出来的代码可读性高也不容易出错。
模型量化、剪枝和蒸馏原理
01-04
### 模型量化 模型量化的目的是减少神经网络中的数值精度，从而降低存储需求并加快计算速度。通常情况下，浮点数会被转换成更低位宽的数据类型，比如从32位浮点数转为8位整数甚至更少。这种转变可以显著减小模型尺寸，并允许在资源受限设备上高效执行推断操作[^3]。 ```python import tensorflow as tf def quantize_model(model): converter = tf.lite.TFLiteConverter.from_keras_model(model) converter.optimizations = [tf.lite.Optimize.DEFAULT] tflite_quantized_model = converter.convert() with open('quantized_model.tflite', 'wb') as f: f.write(tflite_quantized_model) # 使用示例 original_model = ... # 加载原始模型 quantize_model(original_model) ``` ### 参数裁剪 (Pruning) 参数裁剪是指移除那些对于预测贡献较小的连接或节点，以此来简化网络结构。这一过程可以通过设置阈值实现自动去除绝对值低于某个标准的权重量子化后的链接；也可以采用迭代的方式，在每次训练周期结束时逐步淘汰最不重要的部分[^1]。Dropout 和 DropConnect 是早期形式的随机性引入机制，它们可以在一定程度上看作是隐式的剪枝手段[^2]。 ```python from tensorflow_model_optimization.sparsity import keras as sparsity prune_low_magnitude = sparsity.prune_low_magnitude model_for_pruning = prune_low_magnitude(base_model) # 编译和拟合被修剪过的模型... ``` ### 知识蒸馏 知识蒸馏是一种迁移学习的方法论，其中小型的学生模型试图模仿大型教师模型的行为模式。这不仅限于复制相同的输出标签分布，还包括捕捉中间层特征表示等方面的信息传递。通过这种方式，学生模型能够在保持较高性能的同时拥有更快的速度以及更紧凑的设计。 ```python teacher_model.compile(optimizer='adam', loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), metrics=['accuracy']) student_model.compile(optimizer=optimizer, loss=tf.keras.losses.KLDivergence(), metrics=[...]) distiller = Distiller(student=student_model, teacher=teacher_model) distiller.compile( student_loss_fn=tf.keras.losses.CategoricalCrossentropy(from_logits=True), distillation_loss_fn=tf.keras.losses.KLDivergence(), optimizer=optimizer, metrics=[...], ) # 训练蒸馏器... ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值