行人重识别

目录

网络压缩与加速原理

 知识蒸馏

 前端压缩

 squeezenet ​编辑

mobilenetv1 

 mobilenetv2 ​编辑

 shufflenet​编辑

 后端压缩

低秩近似​编辑

---

网络压缩与加速原理

大纲

• 模型压缩与加速概述
• 前端压缩
• 后端压缩

 由于深度网络的参数量巨大 在移动端运行吃力 需要进行压缩

前端压缩（不会改变网络结构

1. 知识蒸馏
2. 紧凑模型设计
3. 滤波器级别的剪枝

后端压缩 

1. 低秩近似
2. 不加限制的剪枝
3. 参数量化和二值化

特点

 知识蒸馏

通过大模型训练小模型

 监督信号：

1. 概率分布 算KL散度
2. feature map作为监督信号 MMDloss
3. 中间过程 L2loss

 前端压缩

紧致的网络结构

 squeezenet 

mobilenetv1 

 mobilenetv2 

 shufflenet

 后端压缩

低秩近似

卷积分解 

SVD分解 

 剪枝

量化 行人重识别系统

 

 

 评价指标

 

 

基于度量学习的深度学习

比对图片相似度

过程先定义一个映射也就是一个特称提取的 将图片空间映射到特征空间

再定义一个距离度量函数 在计算两个特征的距离

再通过最小化网络的度量损失 来优化映射