机器学习（第四周）-神经网络表层结构

神经网络表述

有些问题的解决依赖于复杂的非线性分类器 ，逻辑回归中包含很多多项式项，随着特征值的数量增长，即使只包含二项式多项式会呈n^2级别增长，n个特征值，会有n^2/2个二项式多项式。多项式过多，就会存在计算量过大的问题。

只是简单的增加 二次项或者三次项 之类的逻辑回归算法 并不是一个解决 复杂非线性问题的好办法 因为当n很大时 将会产生非常多的特征项，神经网络 它在解决复杂的非线性分类问题上 被证明是 是一种好得多的算法。

1、简介

起源：试图模仿大脑的算法。 在80年代和90年代初被广泛使用; 人气在90年代后期减少

最近的复苏：许多应用的最先进的技术

神经网络是模拟是神经元原理

神经网络有三个基本结构

输入层（Input layer），众多神经元（Neuron）接受大量非线形输入消息。输入的消息称为输入向量。
输出层（Output layer），消息在神经元链接中传输、分析、权衡，形成输出结果。输出的消息称为输出向量。

隐藏层（Hidden layer），简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。隐层可以有一层或多层。隐层的节点（神经元）数目不定，但数目越多神经网络的非线性越显著，从而神经网络的强健性（robustness）（控制系统在一定结构、大小等的参数摄动下，维持某些性能的特性）更显著。

2、前向传播算法

代表一个神经元的简单的神经网络如下：

θ成为权重参数

sigmoid称为逻辑回归激活函数

多个神经元的模型如何之后如下：

如果一个网络在第j层有sj个单元，在j+1层有sj+1个单元那么矩阵θ(j)即控制第j层到第j+1层映射的矩阵的维度为s(j+1) * (sj+1)这里要搞清楚这个是s下标j+1，而这个是s下标j 然后整体加上1所以θ(j)的维度是：

 s(j+1)行 sj+1列这里sj+1当中的1不是下标的一部 分

一个人工神经网络的 这个神经网络定义了函数h： 从输入 x 到输出y的映射 我将这些假设的参数 记为大写的θ 这样一来 不同的θ 对应了不同的假设 所以我们有不同的函数 比如说从 x到y的映射

下图以线性回归为例，以向量化的方式神经网络的计算，这种算法称为前向传播的方式。

这个从输入层到 隐藏层再到输出层依次计算激励的 过程叫前向传播 ，这也能帮助我们理解神经网络的工作原理

仅仅看神经网络最后两层，与逻辑回归很像，逻辑回归区别是特征值是直接输入，神经网络特征值是通过输入的特征值，通过函数映射，学习转化过来的，如下图：

神经网络就是对输入值x1-x3通过函数映射，输出倒数第二次的特征值a1-a3，进一步进行做逻辑回归分类运算

通过简单的神经网络，更加复杂的神经网络结构，能够实现训练更加复杂的特征值的运算过程，原理类似，如下图

神经网络计算

最简单的一个神经元为例：

通过计算出x1和x2的真值表，例子中输出的神经单元是x1 AND x2的运算，还有OR、XOR两种运算，最终是那种运算的方式取决于映射函数和加权系数θ。

运算真值表如下：

 

神经网络的一种较为直观的体现：

一对n神经网络分类处理方式是把y构成一个矩阵的方式来进行显示