h__ang的博客

同样是在知乎上编辑的，公式格式不同，我直接贴个链接了：网络结构搜索-综述

最近读了一片文章“Not all Ops Are Created Equal！”，以前大家手工设计网络结构的时候，都是尽量在减少模型的计算量和模型参数量，认为计算量和参数量小的模型inference的效率就一定高。其实不然，首先我们要明确设计轻量级网络的最终的目的是什么？——在保证精度损失在可接受范围内的同时，降低模型推理的延迟和功耗才是重中之重！论文连接：Not All Ops Are Cre...

神经网络模型的设计和训练十分复杂，initialization, activation, normalization,优化器,学习率 等等无不是四两拨千斤，这篇文章主要是总结一些炼丹技巧，讨论下关于如何初始化、选择激活函数、正则化的方式和优化器的选择等。一. 优化器的选择知乎上有一个系列文章总结的非常好，我强烈推荐！一个框架看懂优化算法之异同 SGD/AdaGrad/AdamAdam那么棒...

论文链接：https://arxiv.org/pdf/1807.11626v1.pdf代码链接：https://github.com/tensorflow/tpu/tree/master/models/official/mnasnet摘要

论文链接：https://arxiv.org/abs/1905.11946代码链接：https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet第三方实现的PyTorch代码：https://github.com/lukemelas/EfficientNet-PyTorch...

论文地址：https://arxiv.org/abs/1603.05279代码地址：http://allenai.org/plato/xnornetAbstract我们提出了两种对标准卷积神经网络的高效近似：Binary-Weight-Networks 和 XNOR-Networks。在Binary-Weight-Networks中，卷积核中的权重被近似为二值，这使得内存节省了32x；在X...

论文链接：https://arxiv.org/pdf/1608.03665.pdf代码链接：https://github.com/wenwei202/caffe/tree/scnn摘要计算资源的高需求严重阻碍了大规模深度神经网络在资源受限设备上的部署。在这篇工作中，我们提出了一种结构稀疏化学习方法（SSL method）来规范DNNs的结构(filters，channels，filter s...

论文链接：https：//arxiv.org/pdf/1608.06993.pdf代码链接：https：//github.com/liuzhuang13/DenseNetAbstract

Abstract在本篇论文中，我们继续研究如何设计高效卷积神经网络结构来消除卷积核的冗余。目前来说，消除卷积核中的冗余有以下几种方法：减少卷积操作；低精度卷积核，即做一些量化，从浮点到定点转化；低秩卷积核，即减少卷积核的个数或者通道数；低秩卷积核的组合，，担心单纯的减少卷积核的个数或者通道数会对性能造成影响，所以采用多个低秩卷积核组合在一起达到原来的密集卷积核的作用；稀疏卷积核，分为...

原文链接：https://arxiv.org/abs/1707.02725作者视频讲解链接：https://edu.youkuaiyun.com/course/play/8320/171433?s=1Abstract在本篇论文中，我们提出了一种简单的模块化网络结构，将其称为交错组卷积神经网络(IGCNets)。它的重点在于一个新颖的构建块：是由一对连续且相互交错的组卷积组成。这两个组卷积是互补的：在...

SqueezeNet: AlexNet-Level accuracy with 50X fewer parameters And <0.5M Model Size论文链接：http://arxiv.org/abs/1602.07360代码链接：https://github.com/DeepScale/SqueezeNetAbstract目前深度卷积神经网络主要聚焦于提升准确率，我们将...

论文链接：https://pan.baidu.com/s/1so7aD3hLKO-0PB8h4HWliwAbstract目前，神经网络结构大多数都是以计算复杂度(FLOPS)作为间接度量标准来指导设计的，然而，实际上一个网络模型的训练或推理过程Flops等计算复杂度也只是其影响其整体效率的一个因素，其它像内存读写/外部数据IO操作、平台特性等都会对整体的实际运行效率产生影响。为实际生产考虑，我...

原文链接：：https://arxiv.org/abs/1707.01083Abstract论文提出了一种计算效率极高的卷积神经网络结构——ShuffleNet，它是专门为计算能力有限的移动平台设计的。这个新结构用来两个新操作——逐渐群卷积(pointwise group convulution)和通道混洗(channel shuffle)在保障精确率损失不大的同时大大减少了计算成本。基于Im...

原文地址：MobileNetV2一. 前沿论文介绍了一种新的轻量级网络——MobileNetV2，与其他的轻量级网络相比，它在多个任务上都达到了最先进的水平。我们介绍了一种将轻量级网络应用在目标检测中的模型SSDLite，另外我们展示了如何通过DeepLabv3的一种简化形式——Mobile DeepLabv3来构建移动语义分割模型。MobileNetV2是基于倒置的残差结构，普通的残差结...

Introduction自从AlexNet在2012年赢得ImageNet大赛的冠军一来，卷积神经网络就在计算机视觉领域变得越来越流行，一个主要趋势就是为了提高准确率就要做更深和更复杂的网络模型，然而这样的模型在规模和速度方面显得捉襟见肘，在许多真实场景，比如机器人、自动驾驶、增强现实等，识别任务及时地在一个计算力有限的平台上完成，这是我们的大模型的局限性所在。目前针对这一问题的研究主要是从...

摘要智能移动设备日益增长的普及度和基于深度学习模型令人畏惧的计算成本需要高效且精确的终端推理方案。我们提出了一个量化方案，它允许仅使用整数运算来执行推断方案，在通用的整数运算硬件上执行地要比浮点推断高效很多。我们也协同设计了一种训练过程来保存量化后的模型精度，结果是提出的量化方案在精度和设备延迟上取得了一个很好的平衡，即使在MobileNets（一种精简网络family，以实时效率而著名）上取得...