Nature:DeepLearning

最新推荐文章于 2025-06-10 21:20:33 发布

原创最新推荐文章于 2025-06-10 21:20:33 发布 · 729 阅读

1 ·

CC 4.0 BY-SA版权

Paper阅读笔记专栏收录该内容

4 篇文章

订阅专栏

本文综述了深度学习的发展，涵盖其概念、原理及应用。深度学习通过多层非线性变换，从原始输入中提取复杂特征，适用于图像、语音、文本等数据处理。介绍了监督学习、反向传播算法、卷积神经网络(CNN)、循环神经网络(RNN)等关键技术，并展望了深度学习的未来。

Nature:DeepLearning

0.综述

本论文 Nature:DeepLearning 是Yann LeCun, Yoshua Bengio, Geoffrey Hinton 三位大神于2015年发表在Nature上的深度学习综述，从深度学习概念、原理、应用等方面总览深度学习，把握深度学习的前世今生，探究深度学习中的重要理论和算法。

论文包括以下部分：

1.引言
2.监督学习
3.反向传播算法
4.CNN
5.基于深度卷积神经网络的图片理解
6.分布表示和语言模型
7.RNN
8.深度学习的未来

论文地址：https://www.nature.com/articles/nature14539

深度学习的概念
深度学习允许由多个处理层组成的计算模型来学习具有多个抽象级别的数据表示，这些方法极大地改善了语音识别，视觉对象识别，物体检测以及药物发现和基因组学等许多其他领域的最新技术。
深度学习的原理
深度学习通过使用反向传播算法来指示机器应如何更改其内部参数(用于从前一层中的表示)计算每个层中的表示来发现大数据集中的复杂结构。
深度学习的应用
深度卷积神经网络在处理图像，视频，语音和音频方面带来了突破，而循环神经网络则对文本和语音等顺序数据进行了彰显。

1.引言部分

引言部分最重要的就是下面这段话：

Deep-learning methods are representation-learning methods with multiple levels of representation,obtained by composing simple but non-linear modules that each transform the representation at one level (starting with the raw input) into a representation at a higher, slightly more abstract level. With the composition of enough such transformations, very complex functions can be learned.

深度学习是一种具有多层表征(高维特征组合)的表示学习方法，它通过组合简单但是非线性的模块来实现，每个模块将一个层次的表征(从原始输入开始)转换到更高维、更抽象层次的表征，通过足够多的这种变换的组合，我们可以学习到能够解决非常复杂的问题的函数。

与传统机器学习方法中的特征工程(工程师们根据数据和任务的特性来手动地设计与之相适应，能够更好地完成任务的特征方法)不一样，深度学习自成一套，它使用一种通用的学习过程从数据中学到特征。深度学习的每一个Layer就是用来放大数据中的有用部分，即提取特征，抑制数据中的无用部分，即去除"噪声"，经过一系列的Layer变换之后，数据中最有用的部分(即能够代表数据的特征)被提取出来，接着再进行相应目标的任务会特别简单，这就是深度学习。

2.监督学习

We compute an objective function that measures the error (or distance) between the output scores and the desired pattern of scores. The machine then modifies its internal adjustable parameters to reduce this error. These adjustable parameters, often called weights, are real numbers that can be seen as ‘knobs’ that define the input–output function of the machine. In a typical deep-learning system, there may be hundreds of millions of these adjustable weights, and hundreds of millions of labelled examples with which to train the machine.

我们计算一个目标函数来衡量期望得到的模式分数和实际输出分数之间误差(或者距离)。之后机器会修改它内部的可调整参数来减小这个误差，这些可调整的参数是实数，通常叫做权重，可以看作是定义机器输入输出功能的“旋钮”。在典型的深度学习系统中，可能有着数以万计的这样的可调整参数，以及数亿个贴有正确标签的实例来训练机器。