1、Model Representation 1
当我们在运用神经网络时,我们该如何表示我们的假设或模型?
既然神经网络是在模仿大脑中的神经元,那么大脑中神经元的工作方式是什么样的呢?
神经元是一个计算单元,它从输入神经(树突)接受一定数目的信息,并做一些计算,然后将结果通过它的输出神经(轴突),传送到其他节或者大脑中的其他神经元。
神经网络的术语:网络中的第一层也被称为输入层,因为我们在这一层输入我们的特征项 x1 x2 x3。最后一层也称为输出层,因为这一层的 神经元—我指的这个输出假设的最终计算结果,中间的两层也被称作隐藏层。隐藏层不是一个很合适的术语,但是,直觉上我们知道,在监督学习中你能看到输入也能看到正确的输出,而隐藏层的值你在训练集里是看不到的。它的值不是 x 也不是y 所以我们叫它隐藏层,神经网络可以有不止一个的隐藏层。上图的这个例子中,我们有一个输入层—第1层,一个隐藏层— 第2层,和一个输出层—第3层。但实际上任何 非输入层或非输出层的层就被称为隐藏层。
a上标(2) 下标1:表示第2层的第一个激励,即隐藏层的第一个激励。所谓激励(activation) 是指由一个具体神经元读入计算并输出的值。
θ上标(j) 它将成为 一个波矩阵,控制着比如说从第一层到第二层或者第二层到第三层的作用。
The values for each of the "activation" nodes is obtained as follows:
2、Model Representation 2
第一小节中解释了怎样用数学来定义或者计算神经网络算法的假设。第二小节来介绍,如何高效的计算并展示一个向量化的实现方法。
前向传播:这样命名是因为我们从输入层的激励开始,然后进行前向传播给隐藏层并计算隐藏层的激励。然后,我们继续前向传播并计算输出层的激励。这个从输入层到隐藏层再到输出层依次计算激励的过程叫前向传播。