有些代码不应该被忘记

作者：buldajs链接：https://www.zhihu.com/question/53354718/answer/207687177来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 基于深度学习的单目深度估计算近年比较火的方向之前搜集过相关的论文，尝试回答一下。 Depth Map Prediction from a Single Ima...

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal NetworksShaoqing Ren, Kaiming He, Ross Girshick, Jian Sunreference link：http://blog.youkuaiyun.com/liumaolincycle/article/detail

以下介绍具体包括如下4个stage算法:1.Rol pooling layer(fc) 2.Multi-task loss(one-stage) 3.Scale invariance(trade off->single scale(compare with multi-scale for decreasing 1mAP) )4.SVD on fc layers(speed up t

reference link：http://blog.youkuaiyun.com/shenxiaolu1984/article/details/51152614http://blog.youkuaiyun.com/luopingfeng/article/details/51245694http://blog.youkuaiyun.com/xyy19920105/article/details/50817725

Reference link: http://blog.youkuaiyun.com/tangwei2014这是继RCNN，fast-RCNN 和 faster-RCNN之后，rbg（Ross Girshick）大神挂名的又一大作，起了一个很娱乐化的名字：YOLO。 虽然目前版本还有一些硬伤，但是解决了目前基于DL检测中一个大痛点，就是速度问题。 其增强版本GPU中能跑45fps，简化版本155fps

之前一直想总结下SSD，奈何时间缘故一直没有整理，在我的认知当中，SSD是对Faster RCNN RPN这一独特步骤的延伸与整合。总而言之，在思考于RPN进行2-class分类的时候，能否借鉴YOLO并简化faster rcnn在21分类同时整合faster rcnn中anchor boxes实现multi-scale的思想而设计出了SSD，这篇blog关于SSD的细节方面整理的很好，以供参考。

图像数据库http://blog.leanote.com/post/wjgaas@126.com/%E5%9B%BE%E5%83%8F%E6%95%B0%E6%8D%AE%E5%BA%93一、Data Set数据集（常用）PASCAL VOC包括物体的类别标签和位置标签，一万图像，20类。ImageNet有22K种共15M张高分辨率带标签图像，图像全被收集于网络，人工标

机器之心编译参与：沈泽江　　梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体，然后会简要地总结在训练（神经网络或是机器学习算法）的过程中可能遇到的挑战。　　目录：梯度下降的各种变体

Github：https://github.com/kailashahirwar/cheatsheets-aiGithub：https://github.com/kailashahirwar/cheatsheets-ai对新手来说，学习机器学习和深度学习是比较困难的，各种深度学习库也是比较难理解，所以，我创建了这个机器学习和深度学习速查表，希望对多家有帮助：1.Ke

在深度学习十分火热的今天，不时会涌现出各种新型的人工神经网络，想要实时了解这些新型神经网络的架构还真是不容易。光是知道各式各样的神经网络模型缩写（如：DCIGN、BiLSTM、DCGAN……还有哪些？)，就已经让人招架不住了。因此，这里整理出一份清单来梳理所有这些架构。其中大部分是人工神经网络，也有一些完全不同的怪物。尽管所有这些架构都各不相同、功能独特，当我在画它们的节点图时……其中潜在

前深度学习时代的计算机视觉互联网巨头看重深度学习当然不是为了学术，主要是它能带来巨大的市场。那为什么在深度学习出来之前，传统算法为什么没有达到深度学习的精度？在深度学习算法出来之前，对于视觉算法来说，大致可以分为以下5个步骤：特征感知，图像预处理，特征提取，特征筛选，推理预测与识别。早期的机器学习中，占优势的统计机器学习群体中，对特征是不大关心的。我认为，计算机视觉可以说是机器学习

1 文章及其地址 Fully Convolutional Networks for Semantic Segmentation (FCNs) http://arxiv.org/pdf/1605.06211v1.pdf2 总述感觉就是在vgg网络的基础上，将最后三层全连接改为cnn，即全都为卷积层了，fully convolutional networks，然后再反卷积，使输

1 VGG网络总结感觉就是再alex-net的基础上，研究了下如何加深网络来提高性能的。总体上也是五层卷积加上三层全链接，但是这五层卷积中都会以pooling来分割，且五层卷积尝试叠加多层卷积再一起，并且尝试以更小的核以及提高核的数量来提高网络的性能，比如alex-net的核的大小为11×11×96不等，vgg网络一般都是用3×3的核，但是她核的数量提高了很多，有3×3×256不等，来提高

目录(?)[+]简介论文地址：Mask R-CNN源代码：matterport - github代码源于matterport的工作组，可以在github上fork它们组的工作。软件必备复现的Mask R-CNN是基于Python3，Keras，TensorFlow。Python 3.4+TensorFlow 1.3+Keras 2.0.8+Jupyt

1 内容概述本文档主要内容：梳理TensorFlow模型在Jetson TX2上进行inference的主要流程，涉及到相关软件的安装、依赖库的编译配置以及PC端的深度网络模型在Jetson TX2的移植步骤。2 开发环境注意：PC端和Jetson TX2所使用的TensorRT安装包是不一样的，前者使用的是Tesla GPUs版本，而后者使用的是Jetson Platform

1 数据采集1）不同地点、不同环境、不同天气等复杂环境下采集；2）主要分为：石子路、水泥路、草地、土泥路、模板路、其他；3）使用LI-OV580 双目摄像头采集，像素30-200万可调2 数据预处理参考链接：http://blog.youkuaiyun.com/qq_31531635/article/details/71170861图像处理11）数据放射性变换，平移（Trans

1  FCN 相对CNN的优点1) 2014年，加州大学伯克利分校的Long等人提出的完全卷积网络(Fully Convolutional Networks)，推广了原有的CNN结构，在不带有全连接层的情况下能进行密集预测。这种结构的提出使得分割图谱可以生成任意大小的图像，且与图像块分类方法相比，也提高了处理速度。在后来，几乎所有关于语义分割的最新研究都采用了这种结构。2) 除

本文的工作很具有实用价值。本文提出了一个实时性的语义分割网络，Image Cascade Network（ICNet），在兼顾实时性的同时比原来的Fast Semantic Segmentation,比如SQ, SegNet, ENet等大大地提高了准确率，足以与Deeplab v2媲美，给语义分割的落地提供了可能。具体各个网络速度与性能的对比如下图所示：文章首先对语义

转载自：http://www.leiphone.com/news/201701/Kq6FvnjgbKK8Lh8N.htmlGAN是“生成对抗网络”（Generative Adversarial Networks）的简称，由2014年还在蒙特利尔读博士的Ian Goodfellow引入深度学习领域。2016年，GAN热潮席卷AI领域顶级会议，从ICLR到NIPS，大量高质量论文被发表和探讨。

在本文中，他精炼地总结了学到的26个有代表性的知识点，包括分布式表示，tricks的技巧，对抗样本的训练，Neural Machine Translation，以及Theano、Nvidia Digits等，非常具有参考价值。八月初，我有幸有机会参加了蒙特利尔深度学习暑期学校的课程，由最知名的神经网络研究人员组成的为期10天的讲座。在此期间，我学到了很多，用一篇博客也说不完。我不会用60个

为了说明看过CVPR2016全部文章的摘要，总结一下，摘要只保留了创新点部分。ORAL SESSIONImage Captioning and Question AnsweringMonday, June 27th, 9:00AM - 10:05AM.These papers will also be presented at the following poste

摘要卷积网络在特征分层领域是非常强大的视觉模型。我们证明了经过端到端、像素到像素训练的卷积网络超过语义分割中最先进的技术。我们的核心观点是建立“全卷积”网络，输入任意尺寸，经过有效的推理和学习产生相应尺寸的输出。我们定义并指定全卷积网络的空间，解释它们在空间范围内dense prediction任务(预测每个像素所属的类别)和获取与先验模型联系的应用。我们改编当前的分类网络(AlexN

基础框架:CNN网络需要固定尺寸的图像输入，SPPNet将任意大小的图像池化生成固定长度的图像表示，提升R-CNN检测的速度24-102倍。固定图像尺寸输入的问题，截取的区域未涵盖整个目标或者缩放带来图像的扭曲。事实上，CNN的卷积层不需要固定尺寸的图像，全连接层是需要固定大小输入的，因此提出了SPP层放到卷积层的后面，改进后的网络如下图所示：SPP是BOW的扩

好的实验环境是成功的一半由于深度学习实验超参众多，代码风格良好的实验环境，可以让你的人工或者自动调参更加省力，有以下几点可能需要注意：将各个参数的设置部分集中在一起。如果参数的设置分布在代码的各个地方，那么修改的过程想必会非常痛苦。可以输出模型的损失函数值以及训练集和验证集上的准确率。可以考虑设计一个子程序，可以根据给定的参数，启动训练并监控和周期性保存评估结果。再由一个主程序，分

训练技巧对深度学习来说是非常重要的，作为一门实验性质很强的科学，同样的网络结构使用不同的训练方法训练，结果可能会有很大的差异。这里我总结了近一年来的炼丹心得，分享给大家，也欢迎大家补充指正。参数初始化。下面几种方式,随便选一个,结果基本都差不多。但是一定要做。否则可能会减慢收敛速度，影响收敛结果，甚至造成Nan等一系列问题。n_in为网络的输入大小，n_out为网络的输出大小，

我们在学习使用深度学习的过程中最最重要的就是调参，而调参的能力是需要长期积累才能形成的，因为每一种数据库和每一种网络结构都需要不同的参数以达到最佳效果。而寻找这个最佳的参数的过程就叫做调参。正文：一. 参数是指那些？参数其实是个比较泛化的称呼，因为它不仅仅包括一些数字的调整，它也包括了相关的网络结构的调整和一些函数的调整。下面列举一下各种参数：1.

本文将分享一些自己关于深度学习模型调试技巧的总结思考（以CNN为主）。最近因为一些需要，参与了一些CNN建模调参的工作，出于个人习性，我并不习惯于通过单纯的trial-and-error的方式来调试经常给人以”black-box”印象的Deep Learning模型。所以在工作推进过程中，花了一些时间去关注了深度学习模型调试以及可视化的资料（可视化与模型调试存在着极强的联系，所以在后面我并

在介绍Faster R-CNN之前，先来介绍一些前验知识，为Faster R-CNN做铺垫。一、基于Region Proposal（候选区域）的深度学习目标检测算法Region Proposal（候选区域），就是预先找出图中目标可能出现的位置，通过利用图像中的纹理、边缘、颜色等信息，保证在选取较少窗口（几千个甚至几百个）的情况下保持较高的召回率（IoU，Intersection-over-

一、目标检测任务 1、任务综述 给定一张图像或者视频帧，找出其中所有目标的位置，并给出每个目标的具体类别，图片中可能有一个目标或几个目标。如下图所示 对计算机来说，目标检测最困难的部分在于计算机不清楚目标出现在图像中哪个区域。图像中的目标可能出现在任何位置，目标的形态可能存在各种各样的变化。 2、模型框架 传统的目标检测中，常见的算法是DPM（Deformable Pa

FROM:    http://www.cnblogs.com/einyboy/p/3594432.html一、特征提取Feature Extraction：SIFT [1] [Demo program][SIFT Library] [VLFeat]PCA-SIFT [2] [Project]Affine-SIFT [3] [Project]SURF [4] [Op

1. R-CNN：Rich feature hierarchies for accurate object detection and semantic segmentation技术路线：selective search + CNN + SVMsStep1:候选框提取(selective search)训练：给定一张图片，利用seletive search方法从中提取出2000个候

Deep Residual NetworksDeep Residual Learning for Image Recognition https://github.com/KaimingHe/deep-residual-networksIdentity Mappings in Deep Residual Networks (by Kaiming He)arxiv: ht

可以看看这个 http://blog.youkuaiyun.com/workerwu/article/details/46537849Deep Residual NetworksDeep Residual Learning for Image Recognition https://github.com/KaimingHe/deep-residual-networksIdentity Ma

深度学习是一门实验科学,下面是一些炼丹心得.参数初始化,下面几种方式,随便选一个,结果基本都差不多.uniformW = np.random.uniform(low=-scale, high=scale, size=shape)glorot_uniformscale = np.sqrt(6. / (shape[0] + shape[1]))np.random.unifo

经常会被问到你用深度学习训练模型时怎么样改善你的结果呢？然后每次都懵逼了，一是自己懂的不多，二是实验的不多，三是记性不行忘记了。所以写这篇博客，记录下别人以及自己的一些经验。Ilya Sutskever（Hinton的学生）讲述了有关深度学习的见解及实用建议：获取数据：确保要有高质量的输入/输出数据集，这个数据集要足够大、具有代表性以及拥有相对清楚的标签。缺乏数据集是很

超参数（Hyper-Parameter)是困扰神经网络训练的问题之一，因为这些参数不可通过常规方法学习获得。神经网络经典五大超参数:学习率(Leraning Rate)、权值初始化(Weight Initialization)、网络层数(Layers)单层神经元数(Units)、正则惩罚项（Regularizer|Normalization)这五大超参数使得神经网络

reference link: http://blog.youkuaiyun.com/hjimce/article/details/50187029一、相关理论   本篇博文主要讲解2014年CVPR上的经典paper：《Rich feature hierarchies for Accurate Object Detection and Segmentation》，这篇文章的算

rcnn主要作用就是用于物体检测，就是首先通过selective search 选择2000个候选区域，这些区域中有我们需要的所对应的物体的bounding-box，然后对于每一个region proposal 都wrap到固定的大小的scale,227*227(AlexNet Input),对于每一个处理之后的图片，把他都放到CNN上去进行特征提取，得到每个region proposal的f

reference link: http://blog.youkuaiyun.com/shenxiaolu1984/article/details/51066975Region CNN(RCNN)可以说是利用深度学习进行目标检测的开山之作。作者Ross Girshick多次在PASCAL VOC的目标检测竞赛中折桂，2010年更带领团队获得终身成就奖，如今供职于Facebook旗下的FAIR。 

在采用深度卷积网进行MNIST数据集进行分类，准确率达到99.2%左右import tensorflow as tfimport mathimport input_datadef weight_variable(shape): initial = tf.truncated_normal(shape,stddev=0.1); return tf.Variable