主分量分析

1 自组织原则

原则1 增强性

自组织第一原则：
神经元突触权值的修正随着Hebb条件学习自增强，这使得突触可塑性有了可能。
在单个神经元中，自增强的过程受到以下约束：
对神经元突触权值的修正基于在局部区域可获得前突触和后突触信号

表示Hebb学习特征的关键机制：
（1）依赖时间机制。此机制表示对Hebb突触修改依赖于前突触和后突触信号发生的准确时间；
（2）交互机制。Hebb突触交换的发生依赖于突触每边的信号，
（3）局部机制。一个突触自然地提供了在时空连接中的信息信号交换，局部的可获得的信息通过Hebb突触产生一个与输入有关的局部突触的修正
（4）共轭或相关机制。

原则2 竞争原则##

可用资源的局限性，以一种或另一种的形式，导致单个或一群神经元的突触间的竞争，这个结果使得最强健增长的突触或神经元是以其他神经元作为代价的。
为了使一个给定的神经元趋于稳定，它的突触间必须对有限资源的竞争，以此方式，神经元中一些突触的增强被其他突触的减弱所弥补。相应地，只有最成功的突触可用于增长，那些不成功的突触就会趋于减弱，而最终消失。

原则3 协作##

在神经网络和网络的神经元级别中，对突触权值的修改趋于互相合作。

原则4 结构化信息##

在一个输入信号存在的潜在次序和结构代表了冗余的信息，其通过一个自组织系统以知识的形式获得。

2 主分量分析:扰动理论##

在统计模式识别中，一个常见的问题就是特征选择或特征选择。
特征选择是指将数据空间变换到特征空间的过程

令X表示环境的m维随机变量，假设X均值为零：
$$E(x)=0\text{\hspace{1em}(式1)}$$
$E$为统计学中期望运算符。若X均值不为零，在执行分析之前先减去其均值，另$q$表示m维***单位向量***，X在其上投影表示为：
$$A=X^{T}q=q^{T}X\text{\hspace{1em}(式2)}$$
满足约束条件：
$$||q||=(q^{T}q{)}^{1/2}=1\text{\hspace{1em}(式3)}$$
投影A也是随机变量，由假设X的均值为零，推知A的均值也为零：
$$E(A)=q^{T}E(X)=0\text{\hspace{1em}(式4)}$$
方差与其均方差相同，可写为：
$${\delta }^2=E[A^2]=E[(q^{T}X)(X^{T}q]=q^{T}E[X{X}^T]q=q^{T}Rq\text{\hspace{1em}(式5)}$$
R为随机向量X的自相关矩阵，表示为：
$$R=E(X{X}^T)\text{\hspace{1em}(式6)}$$
相关矩阵R是对称的，即
$$R^T=R\text{\hspace{1em}(式7)}$$
投影A的方差是\delta^2是单位向量q的函数，可以写为：
$$\psi (q)={\delta }^2=q^{T}Rq\text{\hspace{1em}(式8)}$$
将$\psi (q)$定义为方差探针。

3 主分量分析的特征结构

下面讨论在欧几里得范数的约束条件下，找出单位向量q沿$\psi (q)$所具有的极值或稳定值，用于解决依赖于输入向量的相关矩阵R的特征结构。如果q为单位向量使得方差探针$\psi (q)$具有极值，那么对单位向量q任意小的扰动$\delta q$，将有：
$$\psi (q+\delta q)=\psi (q)$$
由方差探针定义为：
$$\psi (q+\delta q)=(q+\delta q{)}^{T}R(q+\delta q)=q^{T}Rq+2(\delta q{)}^{T}Rq+(\delta q{)}^{T}R\delta q$$

4 数据表示

令数据向量$x$为随机向量$X$的实例。用$\alpha$表示随机变量$A$的一个实例。
由于单位向量$q$有$m$个可能的解，数据向量x有m个可能的投影，已知：
$$a_j=q_j^{T}x=x^T{q}_j,j=1,2,....,m$$
其中$a_j$是x在单位向量$q_j$所表示的主方向上的投影。$a_j$称作主分量，与向量x具有相同的物理量纲。
为了从投影$a_j$中准确重建原始数据向量x，首先将一组投影{$a_j|j=1,2,...,m$}组合成一个单一的向量，表示为：
$$a=[a_1,a_2,a_3....a_m{]}^T=[x^T{q}_1,x^T{q}_2,....,x^T{q}_m{]}^T=Q^{T}x$$
再利用$Q{Q}^T=I$的关系，因此数据向量可重建为：
$$x=Qa=\sum _{j=1}^m{a}_j{q}_j$$
可被看成合成公式，单位向量$q_j$表示数据空间的一组基。上式可看作一坐标变换，根据该变换空间中的一个点x变换到特征空间的点a。

5 维数约减

主分量分析的实际价值在于为维数约减提供了有效方法。具体的讲，通过丢弃