IT荻的博客

https://www.cnblogs.com/dushuxiang/p/10304622.html摘要深度神经网络（DNN）继续取得重大进展，解决从图像分类到翻译或强化学习的任务。受到相当大关注的领域的一个方面是在资源受限的环境中有效地执行深度模型，例如移动或嵌入式设备。本文重点讨论了这个问题，并提出了两种新的压缩方法，它们共同利用大型网络称为“教师”的权重量化和蒸馏，进入压缩的“学生”网络。我们提出的第一种方法称为量化蒸馏，并在训练过程中利用蒸馏，将蒸馏损失（相对于教师网络表示）纳入较小的学生网络的

df

https://www.cnblogs.com/wanghui-garcia/p/12558633.htmlhttps://blog.youkuaiyun.com/richard_che/article/details/106502823https://blog.youkuaiyun.com/weixin_40671425/article/details/103164518

参考：https://zhuanlan.zhihu.com/p/45002720https://blog.youkuaiyun.com/shenxiaolu1984/article/details/51428392https://blog.youkuaiyun.com/wangzi371312/article/details/81174452https://github.com/bearpaw/pytorch-posehttps://github.com/princeton-vl/pytorch_stacked_hour

参考：https://blog.youkuaiyun.com/yjl9122/article/details/50995564https://blog.youkuaiyun.com/chinabinlang/article/details/6802686atan2(a,b)是4象限反正切，它的取值不仅取决于正切值a/b，还取决于点 (b, a) 落入哪个象限：当点(b, a) 落入第一象限时，atan2(a,b)的范围是 0 ~ pi/2;　当点(b, a) 落入第二象限时，atan2(a,b)的范围是 pi/2 ~ pi

绿色文件 ———- 可执行文件，可执行的程序红色文件 ———– 压缩文件或者包文件蓝色文件 ———- 目录 www.2cto.com白色文件 ———- 一般性文件，如文本文件，配置文件，源码文件等浅蓝色文件 ———- 链接文件，主要是使用ln命令建立的文件...

论文根据近几年来的关于训练过程优化的大量的优秀论文，总结整理了一大袋用于提升网络模型性能的技巧，这些技巧包含了数据增广、大批量训练、低精度训练、模型调整、学习率调整策略等等。下面按照大纲，记录论文总结的方法。大纲训练基本过程（baseline training procedure ）：包括训练集和测试集的数据增广、参数初始化、优化方法、学习率调整策略。高效训练（efficient tra...

BaseLine你训练一个模型，获得了80%的准确率，你觉得很高吗？不能这么说，因为你没有与别人的东西作对比。也就是说“something else”就是baseline。你使用已经存在的流行的算法作为baseline，baseline的选择取决于你的目的，我们的最终目标是超越baseline，如果你的算法模型训出来比baseline的acc要高，或者其他的指标如训练的时间，预测的时间，内存使用...

fuser -v /dev/nvidia*查看当前系统中GPU占用的线程使用kill -9 线程号释放显存

其实介绍MobileNetV1（以下简称V1）只有一句话，MobileNetV1就是把VGG中的标准卷积层换成深度可分离卷积就可以了。那么，这个深度可分离卷积是什么？深度可分离卷积深度可分离卷积（depthwise separable convolution），根据史料记载，可追溯到2012年的论文Simplifying ConvNets for Fast Learning，作者提出了可分离...

YOLOv3的配置文件，其中需要注意的是数据增强的方式，有两个，一个是角度旋转+饱和度+曝光量+色调，外加jitter，随即调整宽高比的范围。之后需要注意的就是3个尺度的box的mask。后续要知道他们是怎么整合起来的[net]# Testing# batch=1# subdivisions=1# Trainingbatch=64 #训练样本样本数subdivisions=16...

发现Ubuntu系统在拷贝很大的文件，或者清空回收站的时候，很容易发生文件管理卡死，就是整个文件系统界面给黑掉了。1 这里第一种情况是可以操作别的浏览器或者IDE，唯独不能操作文件系统。解决方案： 使用如下ps -A |grep nautilus #查看是哪个文件管理出了问题然后继续killall nautilus #把那个文件管理进程杀死即可2 如果连其他的都不能使用了（系统直...

遇到GPU占用显存过大，或者之前跑完没有清空，会导致一些错误用nvidia-smi查看当前GPU占用情况然后杀死进程 kill -9 PID这里的PID就是你的进程号，哪个占的最多就是你要杀死的，记住基本的显示器的占用不要杀死了...

个人认为下面这篇博文非常适合初学或者学的很浅的朋友。 转自http://www.jianshu.com/p/9dc9f41f0b29经常接触LSTM，GRU,RNN这些模型，对于LSTM的印象只是知道它用来解决梯度消失梯度爆炸问题，对于长距离的句子的学习效果不好的问题，而且大概知道里面是加了一些参数，加了门单元来选择忘记和记住一些信息。但是具体公式没有推过，所以理解的不够深。但是上面这...

转自：https://blog.youkuaiyun.com/hjimce/article/details/50866313一、背景意义本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，这个算法目前已经...

参考：https://my.oschina.net/u/876354/blog/16378192014年，GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄，GoogLeNet获得了第一名、VGG获得了第二名，这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构，而GoogLeNet则做了更加大胆的网络结构尝试，虽然深度只有2...

小总结一下Inception v1——Inception v4的发展历程1.Inception V1通过设计一个系数网络结构，但是能够产生稠密的数据，既能增加神经网络的表现，又能保证计算资源的使用效率。通过Split-Merge包含了1 * 1,3 * 3,5 * 5的卷积，3*3的池化，可以增加网络对多尺度的适应性，当然，增加了网络的宽度。这里v1网络给人眼前一亮的是有一个Bottlen...

对于使用机器学习解决的大多数常见问题，通常有多种可用的模型。每个模型都有自己的独特之处，并随因素变化而表现不同。每个模型在“验证/测试”数据集上来评估性能，性能衡量使用各种统计量如准确率（accuracy），精确率（precision），召回率（recall）等。选择的统计量通常针对特定应用场景和用例。 对于每个应用场景，选择一个能够客观比较模型的度量指标非常重要。本文将介绍目标检测（Obje...

YOLO 是 2016 年提出来的目标检测算法，在当时比较优秀的目标检测算法有 R-CNN、Fast R-CNN 等等，但 YOLO 算法还是让人感到很新奇与兴奋。YOLO 是 You only look once 几个单词的缩写，大意是你看一次就可以预测了，灵感就来自于我们人类自己，因为人看一张图片时，扫一眼就可以得知这张图片不同类型目标的位置。1.创新YOLO将物体检测作为回归问题求解。...

要从事计算机视觉与深度学习这个与人工智能关系密切的职业的话，那么必须对CNN有深刻的理解，本人未来打算找cv方向的AI工作，所以，通过学习大佬的文章来总结记录知识，到时候面试容易查找复习。这次学习了目标检测的开山鼻祖RCNN。RCNN (论文：Rich feature hierarchies for accurate object detection and semantic segmentat...

最近在用YOLOv3的darknet训练VOC数据集，初学小白的我对参数，源码还在了解层面，但是结果已经训练开始之后发现IoU出现了nan值循环。所以就开始网上寻找。总结在下：参考：https://blog.youkuaiyun.com/lilai619/article/details/79695109#commentsedit如何训练自己的数据说明：（1）平台 linux + 作者官方代码 【训练指...

在深度学习出现之前，传统的目标检测方法大概分为区域选择（滑窗）、特征提取（SIFT、HOG等）、分类器（SVM、Adaboost等）三个部分，其主要问题有两方面：一方面滑窗选择策略没有针对性、时间复杂度高，窗口冗余；另一方面手工设计的特征鲁棒性较差。自深度学习出现之后，目标检测取得了巨大的突破，最瞩目的两个方向有：1 以RCNN为代表的基于Region Proposal的深度学习目标检测算法（R...

一、全部代码如下：代码部分tf函数见下面第二部分。yolo2的预测过程大致分为以下3部分。1、model_darknet19.py：yolo2网络模型——darknet19。YOLOv2采用了一个新的基础模型（特征提取器），称为Darknet-19，包括19个卷积层和5个maxpooling层，如下图。Darknet-19与VGG16模型设计原则是一致的，主要采用33卷积，采用22的max...

之前的两篇YOLO的发展历史YOLOv1 https://blog.youkuaiyun.com/u010712012/article/details/85116365YOLOv2 https://blog.youkuaiyun.com/u010712012/article/details/852747112018年又出现了YOLOv3，相比于SSD，FasterRCNN，RetinaNet，速度都是更快的，作者很...

2012年的ImageNet，Hinton和他的学生用了一个神奇的方法拿下了冠军。论文在这里：https://www.nvidia.cn/content/tesla/pdf/machine-learning/imagenet-classification-with-deep-convolutional-nn.pdf当时神经网络其实大部分还在SVM的阴影之下，这一把骚操作直接让人们的关注点又拉了...