2.2 原理与实例神经元模型： 单输入 a = f(wp+b), f为传输函数, w为权值, b为偏置, a为输出.常用的三种传输函数：    * 硬极限: hardlim(n) = {1, n>=0; 0, n    对称硬极限: hardlims(n) = {1, n>=0; -1, n    * 线性: purelin(n) = {a=n}    饱和线性: satl

介绍一些与Hamming网络(第三章)及其相似的一些网络，使用十三章介绍的联想学习规则对模式分类进行自适应学习。14.2.1 Hamming网络（参见第三章）        横向抑制：每个神经元的输出都对其它神经元的输出产生抑制作用，如第二层递归层中的权值矩阵、        胜者全得竞争：只有一个神经元有非0输出的竞争关系，如第二层递归层14.2.2 竞争层

Widrow-Hoff算法是一个近似最速下降法，性能指标是均方差。ADALINE(ADAptive LInear NEuron，自适应线性神经元)网络： a = purelin(W *p+ b)        a = W' * p + b         =>         a=x' * z, x=[W; b], z=[p;1]均方差：         F(x) = E[e^

前面介绍的都是有监督的学习，这章介绍无监督的学习。        联想：指系统中输入与输出之间的任何联系。当两个模式相关联时，输入模式称为刺激，输出模式称为响应。13.2.1 简单联想网络：a = hardlim( w0 * p0 + w * p + b )        无条件刺激：输入p0必然导致a输出。        条件刺激：输入p初始时不能导致a输出，经过训练算法后可

基本的反向传播算法对实际应用来说太慢了，快速算法的研究粗略分成两类：第一类包括那些使用启发式信息的技术，这源于对标准反向传播算法特定性能的研究。这些启发式技术包括可变的学习速度、使用动量和改变比例向量。第二类研究集中在标准数值优化技术，其实训练前向神经网络减小均方误差只是一个数值优化问题，可以从大量已有的数值算法中选择快速训练算法。        SDBP：称基本的反向传播算法为最速下降反

介绍几种优化算法，都是根据初始值x0迭代，x[k+1] = x[k] + a[k] * p[k]，p[k]代表搜索方向，a[k]为学习速度（学习步长，大于0小于1）。最速下降法： x[k+1] = x[k] - a[k] * g[k]        根据一阶近似，沿梯度方向反向时，下降最快，即 p[k] = -g[k], g[k]为F(x)在x[k]点处的梯度方向。        学习

性能学习和联想学习、竞争学习一样，是一类重要的学习规则。目的在于调整网络参数，优化网络性能。    性能指数：衡量网络性能的定量标准。性能指数在网络性能良好时很小，反之很大。    性能优化的过程实质上就是搜索参数空间（权值和偏置）来减小性能指数。    泰勒级数：越高阶近似，得到近似函数的精度范围越大。    神经网络的性能指数是关于所有参数的函数，需要用多变量形式的泰勒级数。其

线性联想器：a=purelin(Wp), 属于联想存储器的一种    联想存储器：学习Q对标准输入输出向量，{p1,t1}, ..., {pq,tq}. 输入p=px时输出t=tx，输入发生微小波动时输出也应只发生微小波动。    Hebb规则：正的输入产生正的输出，则增加权值，w_new = w_old + alpha*p*t，当t表示对应时刻网络的实际输出时，这是一种无监督学习。而当t

线性变换：T(x1+x2)=T(x1)+T(x2);T(ax)=aT(x)    基变换：y=Ax, x'=Cx,y'=Bx'  ->  B=inv(C)*A*C    相似变换：B=inv(C)*A*C    特征向量 特征值：Ax = ax, x称为特征向量, a为对应的特征值

复习《线性代数》内容。    线性向量空间    线性无关： 当且仅当a=0时，aX=0，则称X的各个列向量线性无关。    基向量    内积：(x,y)=(y,x); (x, ay+bz)=a(x,y)+b(x,z); (x,x)>=0, 当前仅当x=0时,(x,x)=0    范数：||x||>=0; ||x||=0 x=0; ||ax||=|a|*||x||; |

4.2.1 学习规则    学习规则：修改权值和偏置的方法和过程。大致分为三类：有监督学习，无监督学习，增强（或分级）学习。    1) 有监督的学习。一堆{输入, 期望输出} 序列来训练网络，调整权值和偏置，从而是实际输出与期望输出越来越接近。感知机的学习属于这种。    2) 增强学习。与1)类似，不过并不给出期望输出，而只给一个级别（或评分），这个级别是对网络在某些输入序列上的性

3.2.2 感知机(hardlim, hardlims)    W总是和判定边界垂直，判定边界随b值平移。 当W是多个行向量组成的矩阵，每个行向量都有一个判定边界。因为边界是线性的，单层感知机只能识别线性可分的模式。3.2.3 Hamming网络    专门求解二值模式识别问题（输入向量的每个元素只能是两个值中的一个，如[-1, 1]）。两层：前馈层->递归层，两层神经元数目相同。

3.2.2 感知机(hardlim, hardlims)：W总是和判定边界垂直，判定边界随b值平移。 当W是多个行向量组成的矩阵，每个行向量都有一个判定边界。因为边界是线性的，单层感知机    只能识别线性可分的模式。3.2.3 Hamming网络：专门求解二值模式识别问题（输入向量的每个元素只能是两个值中的一个，如[-1, 1]）。两层：前馈层->递归层，两层神经元数目相同。

反向传播是一个更一般的LMS算法，可以用于训练多层网络。也是最速下降法的近似，性能指数是均方差。多层感知机：        多层网络的应用：1.在模式分类中，它可以完成单层网络无法解决的问题，如异或问题；2. 在函数逼近中，两层网络在其隐层中用S形传输函数，在输出层中用线性函数，就可以以任意精度逼近感兴趣的函数，只要隐层中有足够的神经元。反向传播算法（BP算法）：        1