神经网络与深度学习学习总结（一）

1. 线性回归

定义：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法

学习过程如下：

假定给定样本

构造代价（误差、损失）函数：

目标：找到超平面参数,使得最小,即求解

求解：令，

即可得到：

注意，这是解析解， 一步得到， 速度很快(只要维数不高)。 其中

2. 线性二分类问题

定义：线性分类器则透过特征的线性组合来做出分类决定，以达到此种目的。 简言之， 样本通过直线(或超平面)可分

线性分类与线性回归差别：

输出意义不同： 属于某类的概率<->回归具体值

参数意义不同： 最佳分类直线<->最佳拟合直线

维度不同： 前面的例子中， 一个是一维的回归， 一个是二维的分类

给定样本，注意只能取0,1

构造代价（误差、损失）函数：

注意，这里

上述和回归方程一致， 只是加了S函数， 因此又称作softmax回归

目标：找到超平面参数,使得最小,即求解

采用迭代的方法。

即构建一个序列，

最简单的方式：

确定,即确定了如何构建序列

3. 对数回归与多分类回归

4. 神经元模型

作用函数

5. 感知机模型

训练过程

感知机与神经元模型类比

6. 多层感知机

XOR问题

多层感知机

三层感知器可识别任一凸多边形或无界的凸区域。更多层感知器网络， 可识别更为复杂的图形。

多层感知器网络， 有如下定理：

定理1 若隐层节点（ 单元） 可任意设置， 用三层阈值节点的网络， 可以实现任意的二值逻辑函数。

定理2 若隐层节点（ 单元） 可任意设置， 用三层S型非线性特性节点的网络， 可以一致逼近紧集上的连续函数或按 范数逼近紧集上的平方可积函数。

7. 多层前馈网络及BP算法概述

BP算法详解

BP算法基本思想

BP算法推导

神经网络的分类

权值正则化

算法总结

优点：

1. 学习完全自主

2. 可逼近任意非线性函数

缺点：

1. 算法非全局收敛

2. 收敛速度慢

3. 学习速率α 选择

4. 神经网络如何设计(几层？ 节点数？ )