神经网络的数学基础：张量和梯度

阅读上一篇 深度学习的“Hello World”
今天主要讲神经网络的数学基础，涉及的数学包括线性代数、矩阵分析、微积分和数理统计等科目。主要讲清楚两个概念张量和梯度，这两个概念对于了解和掌握机器学习(深度学习)尤为重要，在介绍这两个概念之前，我们来了解一下Google的神经网络游乐园。

开篇

Google是人工智能的领导者，在人工智能方面的建树，无需赘述了。Google官方有一个神经网站游乐园，可以让你形象直观的观察神经网络训练的过程，包括训练结果的变化，你可以修改神经网络的层数，以及相关的参数，再运行，看起来很直观，如果你感兴趣，还可以到Google官方的Github上下载该项目在本地运行,以下是从运行中截取的一张图：

你可以直观的看到数据在网络中流动的情形，Google的机器学习框架叫做 TensorFlow，这是个很形象的比喻，意思是 张量(Tensor)在神经网络中流动(Flow)，可以看出张量是多么重要！张量对这个领域非常重要，重要到Google 的TensorFlow 都以它来命名。下面我们就来谈谈张量。

张量

神经网络使用的数据存储在多维Numpy 数组中，也叫张量（tensor），所以张量其实就是多维数组，所以不能叫做矩阵，矩阵只是二维的数组，张量所指的维度是没有限制的。一般来说，当前所有机器学习系统都使用张量作为基本数据结构。那么什么是张量？张量这一概念的核心在于，它是一个数据容器。它包含的数据几乎总是数值数据，因此它是数字的容器。你可能对矩阵很熟悉，它是二维张量。张量是矩阵向任意维度的扩展。下面对0到3维张做一些描述和实验，以加深理解。

注意，张量的维度（dimension）通常叫作轴（axis）

1、标量(scalar)

仅包含一个数字的张量叫作标量（scalar，也叫标量张量、零维张量、0D 张量）。在Numpy中，一个float32 或float64 的数字就是一个标量张量（或标量数组）。你可以用ndim 属性来查看一个Numpy 张量的轴的个数。标量张量有0 个轴（ndim=0）。张量轴的个数也叫作阶（rank）。

2、向量(vector)

数字组成的数组叫作向量（vector）或一维张量（1D张量）。一维张量只有一个轴。

3、矩阵(matrix)

向量组成的数组叫作矩阵（matrix）或二维张量（2D 张量）。矩阵有2个轴（通常叫作行和列）。你可以将矩阵直观地理解为数字组成的矩形网格。

4、3D张量与更高维张量

将多个矩阵组合成一个新的数组，可以得到一个3D 张量，你可以将其直观地理解为数字组成的立方体。将多个3D 张量组合成一个数组，可以创建一个4D 张量，以此类推。深度学习处理的一般是0D 到4D 的张量，但处理视频数据时可能会遇到5D 张量。

张量的关键属性

张量是由以下三个关键属性来定义的:

1. 轴的个数（阶）。例如，3D 张量有3个轴，矩阵有2个轴。这在 Numpy 等 Python 库中也叫张量的ndim。
2. 形状(shape)。这是一个整数元组，表示张量沿每个轴的维度大小（元素个数）。例如，前面矩阵示例的形状为(3, 5)，3D 张量示例的形状为(3, 3, 5)。向量的形状只包含一个元素，比如(5,)，而标量的形状为空，即()。
3. 数据类型（在 Python 库中通常叫作 dtype）。这是张量中所包含数据的类型，例如，张量的类型可以是float32、uint8、float64 等。在极少数情况下，你可能会遇到字符（char）张量。注意，Numpy（以及大多数其他库）中不存在字符串张量，因为张量存储在预先分配的连续内存段中，而字符串的长度是可变的，无法用这种方式存储。

练习

把一个数不断的加[]让它变成多维数组，以及演示如何取数组的元素。

>>> data = np.array(12)
>>> print(data.ndim, data.shape,data)
0 () 12
>>> data = np.array([data])
>>> print(data.ndim, data.shape,data)
1 (1,) [12]
>>> data = np.array([data,[13]])
>>> print(data.ndim, data.shape,data)
2 (2, 1) [[12][13]]
>>> data = np.array([data,data,data])
>>> print(data.ndim, data.shape,data)
3 (3, 2, 1) [[[12][13]][[12][13]][[12][13]]]
>>> data.ndim, data.shape,data
(3, (3, 2, 1), array