lovep1的博客

paper：https://arxiv.org/pdf/1904.07850.pdf官方代码：https://github.com/xingyizhou/CenterNet我的代码：https://github.com/panchengl/centernet_prune 首先提一下我的代码复现（torch），官方代码支持包括2d目标检测、3d检测、姿态估计任务，我移除了其他的任务，并简单的重构了代码，使得代码更加易读，然后基于我改后的代码完成了模型压缩（剪枝方案），并使用了VOC的测试方法（..

paper：https://arxiv.org/pdf/2011.13256.pdfcode：https://github.com/open-mmlab/mmrazor这篇paper主要是商汤开源的mmrazor中提及在detection有效果，我之前记录的几篇sota文章虽然在各自的paper中在detection领域都有提及有增益，但实际上在我的测试中，可能由于模型容量或者其他原因，收益都几乎不可见，但是这篇文章是商汤开源的，我认为应该具有比较好的含金量，因此再分析和实验一波。摘要：k.

1、paper：https://arxiv.org/pdf/2104.09044.pdf2、code：https://github.com/dvlab-research/ReviewKD思谋科技出品的paper，d2的源码，是不是考虑白嫖一波，先分析一下paper的思想

paper：https://arxiv.org/pdf/2103.02340.pdfcode：GitHub - daixinghome/Distill_GID_detectron2首先给出论文链接和源码链接，默默地发现是基于D2的代码，说不定可以白嫖一波，先写一下论文，后续再仔细研读一下源码，旷视的工作还是很良心的，重点指出的是，这篇paper和我的上一篇kd的博客的paper都是覆盖anchor-based、anchor-free的，因此我觉得算是很不错的工作。

篇paper提到kd之所以在目标检测上的失败主要是两个原因：1、前景和背景之间的像素不平衡。 2、缺乏对不同像素之间的关系的蒸馏。基于这两个原因，本文提出了注意力引导机制和non-local机制来解决，让学生网络能够更加努力的学习teacher的模型，这样不仅能够单个像素的特征，还能够学习non-local模块捕获不同像素之间的关系，paper在one-stage、two-stage、anchor-free上都实现了ap的提升。

局提到有数种模型加速的方法：1、权重共享和剪枝2、低秩分解3、转移的紧凑卷积滤波器：这些方法通过转移去除无关紧要的参数或压缩卷积滤波器4、KD 然后摘要里面说明kd的key problem是如何将teacher模型里面的knowledge transfer到student模型，一个kd系统包括三个部分，knowledge、蒸馏算法，teacher模型。

v1 paper：https://arxiv.org/pdf/1707.01083.pdfv2paper：https://arxiv.org/abs/1807.11164code：本文不提供code，参见各个框架的reademe讲道理，存在mobielnet的情况下，我对shuffleNet的用法就少了很多，最大的存在感是shuffleNetV2提出了嵌入式芯片设计网络时的准则，这个才是关键所在，其他的一般情况下还是用mobilenet比较成熟，配合检测算法用的也比较多，部署框架支持的也...

一文看遍mobilenet，毫无疑问，移动端的轻量级网络中mobienet肯定是首当其冲，从v1-v3，有着相当的提升和改进，但究其核心，最主要的还是引入了深度可分离卷积的计算，确实很有代表性，不过在v3中引入了NAS，这就比较玄学了，v3我没有直接复现过，只玩过基于它实现的目标检测网络，v3的yolov3我记得可以在voc上做到74%左右，效果挺好的，v1和v2的目标检测网络，比如mobilenet-ssd、mobilenet-yolo在部署的时候的确相当轻量化，尤其是当年mobilenetv1-ssd结

1、韩松的deep_compression：稀疏化、kmeans聚类、哈夫曼压缩编码三个角度压缩模型2、Pruning Filters for efficient converts 使用l1-norm来作为通道权重的重要性进行剪枝，提出了通道敏感度这一思想，边剪边训练最终达到最佳值3、Network training：a data driven neuron pruning approach torwards efficient deep archtectures ...

1、Tensorrt的量化方式/ncnn对称的饱和量化，从ncnn的源码来看，使用的是逐通道量化，tensorrt没看源码就不知道了（应该也是）：问题的核心转化为如何寻找一个最优值T，是的饱和量化能够精度最小，转化为最优化的问题。英伟达使用kl散度来比较量化前后两个分布的差异，即相对熵，则问题转化为求相对熵的最小值。1、从信息熵的角度来解释，kl散度最小则代表两个分布差异最小。2、将log换为以2为底的数，则代表信息的编码字组组成，编码信息量的差异。量化流程（尽量去简化理解，其实很.