第三章. 一个说明性实例

3.2.2 感知机(hardlim, hardlims)
    W总是和判定边界垂直，判定边界随b值平移。 当W是多个行向量组成的矩阵，每个行向量都有一个判定边界。因为边界是线性的，单层感知机只能识别线性可分的模式。
3.2.3 Hamming网络
    专门求解二值模式识别问题（输入向量的每个元素只能是两个值中的一个，如[-1, 1]）。两层：前馈层->递归层，两层神经元数目相同。
    a1=purelin( W1*p1 + b1 ), a2(0)=a1, a2(t)=poslin( W2 * a2(t-1) )
    Hamming网络目标是判定哪个标准向量最接近输入向量，每个标准模式均对应递归层中的一个神经元，递归收敛后只有一个神经元输出非0值。
    前馈层用于实现每个标准模式与输入模式之间的相关检测，可以用标准模式配置权值矩阵的行。偏置元素值都相同，要保证输出值非负，这是递归层正常工作的前提。
    递归层权值W2= (-e)*ones(S,S)+(e+1)*E, S为递归层神经元个数, e<1/(S-1)，递归的结果就是保留最大的项，与max(a1)一样的效果。
3.2.4 Hopfield网络
    能实现Hamming网络两层的一种递归网络。输入作为初始化向量a(0)=p，a(t+1)=satlins(Wa(t) + b)。与Hamming网络输出一个非零值表示某个标准模式不同，Hopfield直接输出一个标准模式。

    感知机代表前馈网络，这种网络的输出直接根据输入计算出来，并无反馈。前馈网络适用于“分类”，也适用于函数拟合。
    Hamming网络代表竞争网络，他们计算输入模式与标准模式之间的距离测度，并通过竞争来决定哪一个神经元表示的标准模式最接近输入模式。当给网络提供新的输入时，要对标准模式进行调整，这种自适应网络可以将输入聚类到不同类别。
    Hopfield网络代表递归网络，主要用于联想存储，其存储的数据能由相关的输入数据回忆起来，而无需用一个地址对其访问。另外也可用于解决许多优化问题。