GoodShot的专栏

摘要：最新的《Nature》杂志专门为“人工智能 + 机器人”开辟了一个专题 ，发表多篇相关论文，其中包括了LeCun、Bengio和Hinton首次合作的这篇综述文章“Deep Learning”。本文为该综述文章中文译文的上半部分。【编者按】三大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton在深度学习领域的地位无人不知。为纪念人工智能提出60周年

转载：CNN从2012年的AlexNet发展至今，科学家们发明出各种各样的CNN模型，一个比一个深，一个比一个准确，一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点，从这些充满革新性的工作中探讨日后的CNN变革方向。注：水平所限，下面的见解或许有偏差，望大牛指正。另外只介绍其中具有代表性的模型，一些著名的模型由于原理相同将不作介绍，若有遗漏也欢迎指出。一、卷积只能在同一组进行吗？-...

1 前言2012年我在北京组织过8期machine learning读书会，那时“机器学习”非常火，很多人都对其抱有巨大的热情。当我2013年再次来到北京时，有一个词似乎比“机器学习”更火，那就是“深度学习”。本文内写过一些机器学习相关的文章，但上一篇技术文章“LDA主题模型”还是写于2014年11月份，毕竟自2015年开始创业做在线教育后，太多的杂事、琐碎事，让我一直想再写点技术性文章但每每恨时...

深度网络存在问题:网络越深，需要的训练样本数越多。若用监督则需大量标注样本，不然小规模样本容易造成过拟合（深层网络意味着特征比较多，机器学习里面临多特征：1、多样本 2、规则化 3、特征选择）；多层神经网络参数优化是个高阶非凸优化问题，常收敛较差的局部解；梯度扩散问题，BP算法计算出的梯度随着深度向前而显著下降，导致前面网络参数贡献很小，更新速度慢。解决方法：逐层贪婪训练，无监督预训练（unsup...

作者： 寒小阳 时间：2015年11月。 出处：http://blog.youkuaiyun.com/han_xiaoyang/article/details/49999299 声明：版权所有，转载请注明出处，谢谢。1. 线性分类器在深度学习与计算机视觉系列(2)我们提到了图像识别的问题，同时提出了一种简单的解决方法——KNN。然后我们也看到了KNN在解决这个问题的时候，虽然实现起来非常简单，但是有很大的弊端...

一、全连接(full connected, FC)神经网络其训练：其实现和案例：参考：https://www.zybuluo.com/hanbingtao/note/476663二 CNN神经网络每一层并非都是全连接，共享权值，pooling是特点，最后才使用全连接层FC其训练：其实现和案例：参考：https://www.zybuluo.com/hanbingtao/note/485480-陆续更...

无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。虽然文中会有...

无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。虽然文中会有...

无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。虽然文中会有...

无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。虽然文中会有...

无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。虽然文中会有...

无论即将到来的是大数据时代还是人工智能时代，亦或是传统行业使用人工智能在云上处理大数据的时代，作为一个有理想有追求的程序员，不懂深度学习（Deep Learning）这个超热的技术，会不会感觉马上就out了？现在救命稻草来了，《零基础入门深度学习》系列文章旨在讲帮助爱编程的你从零基础达到入门级水平。零基础意味着你不需要太多的数学知识，只要会写程序就行了，没错，这是专门为程序员写的文章。虽然文中会有...

先盗一图，摘自ImageNet Classification with Deep Convolutional Neural Networks（Hinton）注：看到这个结构，可以得到以下结论（以2、3层为例）1、第三层有128*2=256个通道，第二层有48*2=96个通道。每个通道内包含一张前层经卷积核卷积的的feature map,共256张和96张。而由第二层到第三层，第三层通道数（或fea...

这篇教程是翻译Peter Roelants写的神经网络教程，作者已经授权翻译，这是原文。该教程将介绍如何入门神经网络，一共包含五部分。你可以在以下链接找到完整内容。（一）神经网络入门之线性回归Logistic分类函数（二）神经网络入门之Logistic回归（分类问题）（三）神经网络入门之隐藏层设计Softmax分类函数（四）神经网络入门之矢量化（五）神经网络入门之构建多层网络...

(名称：全连接。意思就是输出层的神经元和输入层的每个神经元都连接)在卷积神经网络的最后，往往会出现一两层全连接层，全连接一般会把卷积输出的二维特征图转化成一维的一个向量，这是怎么来的呢？目的何在呢？举个例子：最后的两列小圆球就是两个全连接层，在最后一层卷积结束后，进行了最后一次池化，输出了20个12*12的图像，然后通过了一个全连接层变成了1*100的向量。这是怎么做到的呢，其实就是有20*100...

摘要：Yann LeCun、Yoshua Bengio和Geoffrey Hinton发表于《Nature》的综述文章“Deep Learning”中文译文的下半部分，详细介绍了CNN、分布式特征表示、RNN及其不同的应用，并对深度学习技术的未来发展进行了展望。【编者按】三大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton在深度学习领域的地位无人不知。

浅说深度学习(1)：核心概念原文来自Nvidia开发者社区：Deep Learning in a Nutshell: Core Concepts作者：Tim Dettmers, Author at Parallel Forall翻译：Kaiser此为系列首篇，旨在提供直观简明的深度学习引导，涵盖深度学习的基本概念，而不设计很多数学和理论细节。当然如果要做更深

History深度学习简史第一个貌似深度学习的、具有多层非线性特征的算法可以追溯到1965年，Ivakhnenko和Lapa 用多项式激励函数组了个模型（图1），不宽但还挺深，结合统计方法做分析。在每一层里都用统计方法选择出最好的特征，并前馈给下一层。他们并没有使用反向传播来端到端地训练网络，而是逐层使用最小二乘法单独拟合。图1：已知的第一个深层网络架构，由Alexey

系列的第一篇概览了一下深度学习中的基本概念。第二篇介绍了深度学习的历史背景，以及如何高效地训练神经网络。而这一篇当中，我们将一起认识自然语言处理领域的核心：序列学习。图1：长短期记忆(LSTM)单元。LSTM有四个输入权重和四个循环权重。Peepholes是记忆细胞和门之间的额外连接，但他们对性能提升帮助不到，所以常被忽略。序列学习生活中的所有事物都是与时间相关的，也就形成

浅说深度学习(4)：增强学习这是本系列第四篇，这一篇中让我们一起深入学习一种让agent在环境中通过动作来最大化奖励的的机器学习方法————增强学习。增强学习还记得你是如何学会骑自行车的吗？一般都是大人陪在我们身边鼓励我们第一次迈出步伐，当我们摔倒时帮助我们继续骑。但是这很难解释我们到底是怎么骑的，而且就算再好的解释也没法让没骑过车的人理解这件事。我们只会有一种感觉，一

译者按：本文译自 Tim Dettmers 的 Understanding Convolution in Deep Learning。有太多的公开课、教程在反复传颂卷积神经网络的好，却都没有讲什么是「卷积」，似乎默认所有读者都有相关基础。这篇外文既友好又深入，所以翻译了过来。文章高级部分通过流体力学量子力学等解释卷积的做法在我看来有点激进，这些领域恐怕比卷积更深奥，所以只需简略看看即可。以下是正文

一、BP算法的意义对于初学者来说，了解了一个算法的重要意义，往往会引起他对算法本身的重视。BP(Back Propagation，后向传播)算法，具有非凡的历史意义和重大的现实意义。1.1、历史意义1969年,作为人工神经网络创始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一书,论证了简单的线性感知器功能有限,不能解决如“异或”(XOR )...

Deep Learning（深度学习）学习笔记整理系列zouxy09@qq.comhttp://blog.youkuaiyun.com/zouxy09作者：Zouxyversion 1.0 2013-04-08声明：1）该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2）本文仅供学术交流，非商用。所以每一部分具体...

全连接层的推导全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。全连接层的前向计算下图中连线最密集的2个地方就是全连接层，这很明显的可以看出全连接层的参数的确很多。在前向计算过程，也就是一个线性的加权求和的过程，全连接层的每一个输出都可以看成前一层的每一个结点乘以一个权重系数W，最后加上一个偏置值b得到，即 。如下图中第...

之前通过各种博客视频学习CNN，总是对参数啊原理啊什么的懵懵懂懂。。这次上课终于弄明白了，O(∩_∩)O~上世纪科学家们发现了几个视觉神经特点，视神经具有局部感受野，一整张图的识别由多个局部识别点构成；不同神经元对不同形状有识别能力，且视神经具有叠加能力，高层复杂的图案可以由低层简单线条组成。之后人们发现经过conclusional的操作，可以很好反映视神经处理计算的过程，典型的是1998年LeC...

由于卷积用于分类的方法非常固定，因此直接贴上源码以及链接，有需要的直接稍加修改就可以了。 传送门 简单写一下心得体会 卷积层+pooling层#定义变量，初始化为截断正态分布的变量def weight_variable(shape): initial = tf.truncated_normal(shape, stddev=0.1) return tf.Variable(initi...

名称：全连接。意思就是输出层的神经元和输入层的每个神经元都连接。例子： AlexNet  网络中第一个全连接层是这样的：layer {   name: "fc6"   type: "InnerProduct"   bottom: "pool5"   top:"fc6"   param {     lr_mult: 1     decay_mult: 1   }   param {     lr_m...

本篇博客主要转载两篇写得好的分别介绍基于深度学习的目标检测和人脸检测的文章，最近在调研基于深度学习的人脸检测相关的文章，在网上查相关资料时，有幸看到。文末附带基于深度学习的目标检测和人脸检测相关经典文献及下载地址。基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN、Faster R-CNNobject detection我的理解，就是在给定的图片中精确找到物体所在位置，...