神经网络与深度学习

本文笔记来自于网易云课堂。

神经网络是什么？

考虑一下这么一个例子：
假如你手中有一些房子面积和房子价格的数据，想根据这些数据来预测房子的价格。通过这些数据，你可能会发现房屋面积和房屋价格之间存在某种函数关系，于是，你得到了单个神经网络。

后来，你发现房屋的价格不仅与房子的面积有关，还与房子所在城市的邮政编码、房子周围的教育资源以及房子周围的富裕程度有关，那么我们可以通过搭积木的方式建立一个稍微大一些的神经网络。

神经网络的神奇之处在于你只需要给出输入就会得到输出，而不用在乎中间的部分（神经网络会自己完成中间的部分）。实际上，我们将神经网络抽象出来，其实际上就是一个标准的神经网络，如下图所示。

x为输入的特征，y为对应的输出。神经网络的工作就是根据x来预测y。中间的圆圈为隐藏单元或者节点，每个的输入都来自于4个特征。我们不需要自己确定中间的节点是什么，我们只需要给定输入，神经网络就会自动的决定这些节点是什么。值得注意的是，只要我们给予足够的（x，y）样本，神经网络会非常擅长于计算从x到y的精准映射函数。

监督学习

基本上，到目前为止，几乎所有由神经网络创造的经济价值，都基于其中一种机器学习-监督学习。在监督学习中，我们会有一些数据集，并且知道正确的输出。监督学习问题可以被分类呈回归（regression）以及分类问题（classification）。在回归问题中，我们会试着将输入变量映射到连续函数中进而可以得到连续的输出。在分类问题上，我们试着将输入变量映射到离散函数，进而可以得到离散输出。
神经网络存在不同的类型。比如说标准神经网络（Standard NN），用来预测房屋和在线广告投放；卷积神经网络（CNN, Convolution Neural Network），它经常被用来图像识别；循环神经网络（RNN, Recurrent Neural Network），它经常用来处理一维序列数据，如翻译；至于无人驾驶，它则是一种混合的神经网络结构。

一些术语

结构化数据 vs 非结构化数据
结构化数据具有明确的含义，而非结构化数据更多的是图像，声音等。

为什么深度学习会兴起？

对于传统的学习算法如逻辑回归，随着数据量的不断增加，它的性能会进入一个平台期，因为这些模型无法处理海量的数据。而过去几十年中，我们遇到的问题早期只有少量数据，而由于数字化的发展，现在收集大量数据轻而易举。这些数据远远超过传统学习算法的作用范围,而神经网络的出现解决了这些问题。如果你想达到非常高的性能，有2个条件。一是需要训练一个规模足够大的网络以发挥数据量大的优点。二是为了达到高性能需要很多的数据。所以，我们经常说，规模一直在推动深度学习的进步，而这个规模不只是网络的规模还有数据的规模。事实上，要在神经网络上获得更好的表现，在今天最可靠的手段往往就是要么你训练更大的网络要么投入更大的数据，这只能在一定程度上起作用，因为你耗尽了你的数据或者最终你的网络规模太大，需要的训练时间太长。但是，提升规模已经让我们取得了巨大的进展。下面这个图可以很清晰的说明这一点。

水平轴我们用m来衡量数据量的大小。值得说明的是，在小规模训练集部分，各种算法的性能相对排名并不是很确定。训练集不大的时候，实际效果会取决于手工设计的组件。因此，很有可能有人训练出了个SVM，可能是因为他的手工设计组件很厉害。也就是说，在这个图的左侧，各个算法的优劣并不是定义的很明确，最终的性能更多取决于手工设计组件的技能以及算法处理的一些性能。只有在大数据领域，非常庞大的训练集，也就是m非常大，我们才能见到神经网络稳定的领先其他算法。
在深度学习的初期，是数据和计算能力规模的进展让我们取得了巨大的进步。但是，最近这几年我们也见证了算法方面的极大创新。有趣的是，算法方面的创新都为了让神经网络运行得更快。
很多时候，你有了新想法，然后你写代码实现自己的想法，然后跑一下验，得到反馈再去修改神经网络的细节，然后不断重复这个循环，如下图所示。当你的神经网络需要很长时间去训练，在实现神经网络时，迭代速度对你的效率影响巨大。如果你的训练时间只需要一个小时或者一天，你就可以尝试更多的想法，那你就很可能发现适合你的神经网络。而如果你的时间需要1个月，那么这个时间成本就会非常巨大。

现在，专有硬件，比如说GPU在继续发展，计算能力也在计算发展，所以实现一个超大的神经网络是完全有可能实现的。