神经网络与深度学习（第一次笔记）

一.基本概念

1.1什么是人工智能？

    人工智能是用机器去实现所有目前必须借助人类智慧才能实现的任务。其具体研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统。

1.2什么是人工神经网络？

   是从微观结构与功能上模拟人脑神经系统而建立的一类模型，是模拟人的智能的一条途径。在人工神经网络中，信息处理由人工神经元间的相互作用来实现，由联接权来传递，具有学习能力、自适应性、联接强度的可变性。

1.3人工神经网络的特点

（1）网络的信息处理，由神经元间的相互作用实现，具有并行处理的特点；

（2）知识与信息的存储，表现为神经元间分布式的物理联系；

（3）网络的学习和识别，决定于神经元联接权系数的动态演化过程；

（4）具有联想记忆特性。

二.线性分类与感知机

 2.1线性回归

    对于一个给定的线性模型

    假设给定样本，构造如下代价损失函数：

    目标就是找到一个超平面参数，使得代价损失函数的值最小，另损失函数对偏导为0，可得解析解：

 2.2线性二分类问题

    线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。简言之，样本通过直线(或超平面)可分，如下图所示：

  

  线性分类与线性回归的区别主要有：

（1）输出意义不同：前者属于某类的概率，后者回归具体值

（2）参数意义不同：前者最佳分类直线，后者最佳拟合直线

（3）维度不同：前者是二维的分类，而后者算是一维的回归

   对于构造这条二分类的“分界直线”，考虑代入直线方程的值，因为我们最终需要概率，结果在0-1之间，需要对值做一个变换，因此，引入Sigmoid函数。其大致形状如下所示。

 与上文线性回归的区别是，这里y只能去0,1两值，而且模型变为：

 2.3神经元模型

   下图是沿用至今的“M-P神经元模型”，在这个模型中，神经元接收到来自其他n个神经元传来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接受到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”处理来产生神经元的输出。

 2.4感知机模型

    感知机是神经网络和支持向量机的基础，可用来解决线性分类等问题。感知机从输入到输出的模型如下：

 其中，

  处理问题的步骤一般如下：

 三.多层前馈网络与BP算法

   3.1多层前馈网络

    单层感知机一般处理不了线性不可分问题，在此基础上出现了多层感知机，以及最常见的多层前馈网络，下图即为单隐层前馈网络和多隐层前馈网络的示意图：

    在这种网络中，每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接，其中输入层神经元接收外界输入，隐层与输出层神经元对信号进行加工，最终由输出层神经元进行加工。

3.2误差逆传播算法（BP算法）

    BP学习算法由正向传播和反向传播组成：正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。反向传播是将误差(样本输出与网络输出之差）按原联接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小。

    常见的BP网络如下图所示：

   BP算法流程一般如下伪代码所示：

   对每个训练样例，BP算法执行以下操作：先将输入示例提供给输入层神经元，然后逐层将信号前传，直到产生输出层的结果；然后计算输出层的误差，再将误差逆向传播至隐层神经元，最后根据隐层神经元的误差来对连接权和阈值进行调整。该迭代过程循环进行，直到达到某些停止条件为止，例如训练误差已达到一个很小的值。

   BP算法的目标是要最小化训练集上的累积误差：

 3.3 总结

  BP算法的优点主要有：学习完全自主；可逼近任意非线性函数。

  BP算法的缺点主要有：算法非全局收敛；收敛速度慢；需要选择正确的学习速率；神经网络的各个参数需要正确设计。