机器学习基础 - [第五章：神经网络学习]（2）模型表示

1、神经网络的基本结构——逻辑单元

神经网络的基本结构，称之未逻辑单元，其实质是一个逻辑回归模型：

2、人工神经网络

人工神经网络其实就是由逻辑单元经过层层连接之后形成的模型，
比如下面的单层感知机模型，它由layer1、layer2、layer3三层组成，其中：
layer1也叫输入层，它输入的的是特征向量x={x1，x2，x3}x=\{x_{1}，x_{2}，x_{3}\}x={x1​，x2​，x3​}；
layer2也叫隐藏层，它由多个逻辑单元构成，该层的输入为输入层；
layer3也叫输出层，它也是由逻辑单元构成，不过它的 输入是隐藏层；

3、神经网络中的一些约定表示

• （1）$a_i^{(j)}$（或者$h_i^{(j)}$）：表示第$j$层的$i$个单元的激活函数（逻辑函数）输出值；
• （2）${\Theta }^{(j)}$：表示第$j$层到第$j+1$层的参数矩阵；
• （3）${\Theta }_i^{(j)}$：表示第$j$层连接到第$j+1$层的第$i$个单元的参数向量；
• （4）${\Theta }_{ik}^{(j)}$：表示第$j$层的第$k$个单元连接到第$j+1$层的第$i$个单元的参数；
• 注意：如果网络的第$j$层有$s_j$个单元，第$j+1$层有$s_{j+1}$个单元，那么从第$j$层到第$j+1$层的参数矩阵${\Theta }^{(j)}$的维度为$s_{j+1}\times (s_j+1)$