深度学习 笔记一

神经网络

一、概念

神经网络分类1：

神经网络分类2：

按照对生物神经系统的不同组织层次和抽象层次的模拟，可分为：

（1）神经元层次模型

研究工作主要集中在单个神经元的动态特性和自适应特性，探索神经元对输入信息选择的响应和某些基本存贮功能的机理。

（2）组合式模型

它由数种相互补充、相互协作的神经元组成，用于完成某些特定的任务。如模式识别、机器人控制等。

（3）网络层次模型

它是由许多相同神经元相互连接而成的网络，从整体上研究网络的集体特性。

（4）神经系统模型

一般由多个不同性质的神经网络构成，以模拟生物神经的更复杂或更抽象的性质。

（5）智能型模型

这是最抽象的层次，多以语言形式模拟人脑信息处理的运行、过程、算法和策略。这些模型试图模拟如感知、思维、问题求解等基本过程且与AI相关。

神经网络分类3：

（1）按照网络的性能分：连续型与离散型网络；确定型与随机型网络。

（2）按照网络的结构分：前馈网络；反馈网络。

（3）按照学习方式分：有教师指导的网络；无教师指导的网络。

（4）按照连接突触的性质分：一阶线性关联网络；高阶线性关联网络。

 

 

 

人工神经是指模拟人脑神经系统的结构和功能，运用大量的处理部件，由人工方式构造的网络系统。

神经网络理论突破了传统的、线性处理的数字电子计算机的局限，是一个非线性动力学系统，并以分布式存储和并行协同处理为特色，虽然单个神经元的结构和功能极其简单有限，但是大量的神经元构成的网络系统所实现的行为却是极其丰富多彩的。

神经网络由三层组成：输入层、中间层、输出层。神经网络主要用于分类。

神经网络又有另一个名称：多层感知器（MLP）。MLP（Multi-LayerPerceptron）的名称起源于50-60年代的感知器（Perceptron）。由于在感知器之上又增加了一个计算层，因此称为多层感知器。虽然叫“多层”，MLP一般都指的是两层（带一个隐藏层的）神经网络。

MLP这个术语属于历史遗留的产物。现在一般就说神经网络，以及深度神经网络。前者代表带一个隐藏层的两层神经网络，也是EasyPR目前使用的识别网络，后者指深度学习的网络。

人工神经网络分为前馈神经网络和反馈神经网络这两种。两者的区别是结构图不同。我们可以把结构图看作是一个有向图。其中神经元代表顶点，连接代表有向边。对于前馈神经网络中，这个有向图是没有回路的。而对于反馈神经网络中，结构图的有向图是有回路的。反馈神经网络也是一类重要的神经网络。其中Hopfield网络就是反馈神经网络。深度学习中的RNN也属于一种反馈神经网络。

设计一个神经网络时，输入层与输出层的节点数往往是固定的，中间层则可以自由指定.

具体到前馈神经网络中，有三个网络：单层神经网络，双层神经网络，以及多层神经网络。深度学习中的CNN属于一种特殊的多层神经网络。另外，在一些Blog中和文献中看到的BP神经网络是使用了反向传播BP算法的两层前馈神经网络。也是最普遍的一种两层神经网络。

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习的概念由Hinton等人于2006年提出。基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分．不同的学习框架下建立的学习模型很是不同．例如，卷积神经网络（Convolutional neural networks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。

深度学习是大数据下最热门的趋势之一，这项技术将对自然语言处理和图像识别等前沿领域提供支持。Gigaom.com网站整理了一个指南：深度学习领域的快速发展，鼓舞着越来越多在自然语言处理和图像识别等领域的初创企业去研究它。同时，包括Google、微软、IBM、Facebook和雅虎在内的科技巨头，在深度学习方面的投入也在提高。也有不少高校的研究机构也在该领域在做着前沿的研究。

二、神经元模型

1.M-P神经元模型

                                                      

 

输入条件	输出
	Y=1
	Y=0
	Y=0
	Y=0

 

2.线性加权模型

输入条件	输出
	Y=1
	Y=0

3.阈值逻辑模型

其中：

三、常用神经元状态转移函数

1.阶跃函数

2.准线性函数

3.Sigmoid函数

4.双曲正切函数

四、备注

不一致的说法：

这个最明显的代表就是损失函数loss function，这个还有两个说法是跟它完全一致的意思，分别是残差函数error function，以及代价函数cost function。loss function是目前深度学习里用的较多的一种说法，caffe里也是这么叫的。cost function则是Ng在coursera教学视频里用到的统一说法。这三者都是同一个意思，都是优化问题所需要求解的方程。

再来就是权重weight和参数parameter的说法，神经网络界由于以前的惯例，一般会将训练得到的参数称之为权重，而不像其他机器学习方法就称之为参数。那就是非偏置节点连接上的值称之为权重，而偏置节点上的值称之为偏置，两者统一起来称之为参数。

另外一个同义词就是激活函数activefunction和转移函数transfer function了。同样，他们代表一个意思，都是叠加的非线性函数的说法。

由于神经网络发展历史已经有70年的漫长历史，因此在研究过程中，必然有一些研究分支属于被遗忘阶段。这里面包括各种不同的网络，例如SOM（Self-Organizing Map，自组织特征映射网络），SNN（Synergetic Neural Network，协同神经网络），ART（AdaptiveResonance Theory，自适应共振理论网络）等等。

无反馈ANN：无教师指导学习

无反馈ANN：有教师指导学习

前向ANN：有教师指导学习

神经网络处理信息的特点

神经网络系统与现代数字计算机有如下不同：

(1)以大规模模拟并行处理为主，而现代数字计算机只是串行离散符号处理；

(2)具有很强的鲁棒性和容错性,善于联想、概括、类比和推广,任何局部的损伤不会影响整体结果；

（3）具有很强的自学能力。系统可在学习过程中不断地完善自己，具有创新特点，这不同于AI中的专家系统，后者只是专家经验的知识库，并不能创新和发展；

（4）它是一个大规模自适应非线性动力学系统，具有集体运算的能力，这与本质上是线性系统的现代数字计算机迥然不同。