1、深度学习中的神经网络基础

深度学习中的神经网络基础

1. 构建智能机器

大脑是人体最神奇的器官，它决定了我们感知视觉、听觉、嗅觉、味觉和触觉的方式，让我们能够存储记忆、体验情感甚至做梦。没有大脑，我们只是只能做出简单反射的原始生物。大脑是我们拥有智慧的根源。

婴儿的大脑仅有一磅重，但它能解决连最强大的超级计算机都难以应对的问题。出生几个月后，婴儿就能识别父母的面孔、从背景中分辨出不同物体，甚至能区分不同的声音。一岁时，他们对自然物理有了直觉，能追踪部分或完全被遮挡的物体，还能将声音与特定含义联系起来。到幼儿期，他们已能熟练掌握语法，拥有数千的词汇量。

几十年来，我们一直梦想着打造像人类大脑一样的智能机器，比如能打扫房屋的机器人助手、自动驾驶汽车、自动检测疾病的显微镜等。但构建这些人工智能机器，需要解决极其复杂的计算问题，而这些问题大脑能在微秒内解决。为此，我们需要采用过去十年发展起来的全新编程技术，也就是深度学习。

2. 传统计算机程序的局限性

某些问题为何对计算机来说如此棘手呢？原来，传统计算机程序擅长两件事：一是快速进行算术运算，二是严格遵循指令列表。所以，如果你要进行大量金融数据的计算，传统程序能胜任。但如果要编写一个自动识别手写文字的程序，就会遇到问题。

以MNIST手写数字数据集为例，尽管每个数字的书写方式略有不同，但我们能轻松识别出第一行是零，第二行是一。然而，要编写一个计算机程序来完成这个任务却并非易事。我们可能先从简单规则入手，比如规定只有一个封闭环的图像就是零，但这并不充分。如果有人写的零环没有完全闭合，或者如何区分潦草的零和六呢？我们可以设定环的起点和终点距离的阈值，但这个阈值很难确定。而且，区分三和五、四和九等数字也会面