正则化理论（二）

1、正则化网络
每个隐藏单元的激活函数由Green函数定义
$$G(x,x_i)=exp(-\frac{1}{2{\sigma }_i^2}||x-x_i|{|}^2)\text{\hspace{1em}(式1)}$$
2、广义径向基函数网络
$$F^{\ast }(x)=\sum _{i=1}^{m_1}{w}_i\phi (x,t_i)$$
$$\phi (x,t_i)=G(||x-t_i||)$$

$$F^{\ast }(x)=\sum _{i=1}^{m_1}{w}_i\phi (x,t_i)=\sum _{i=1}^{m_1}{w}_{i}G(x,t_i)=\sum _{i=1}^{m_1}{w}_{i}G(||x-t_i||)$$
新的代价函数：
其中：

$$||D{F}^{\ast }|{|}^2=<D{F}^{\ast }，D{F}^{\ast }{>}_H=[\sum _{i=1}^{m_1}{w}_{i}G(x,t_i),\tilde{D}D\sum _{i=1}^{m_i}{w}_{i}G(X,t_i){]}_H$$
$$=[\sum _{i=1}^{m_1}{w}_{i}G(X,t_i),\sum _{i=1}^{m_1}w){\delta }_{t_i}{]}_H=\sum _{j=1}^{m_1}\sum _{i=1}^{m_1}{w}_j{w}_{i}G(t_j,t_i)=W^T{G}_{0}W$$
3、加权范数
$$||X|{|}_C^2=(CX{)}^T(CX)=X^T{C}^{T}CX$$
$$F^{\ast }(x)=\sum _{i=1}^{m_1}{w}_{i}G(||x-t_i|{|}_c)$$

一个以$t_i$为中心和具有范数加权矩阵C的高斯径向基函数$G(||X-t_i|{|}_c)$可写成
$$G(||X-t_i|{|}_c=exp(-(X-t_i{)}^T{C}^{T}C(X-t_i)]=exp[-\frac{1}{2}(X-t_i{)}^T{\Sigma }^{-1}(X-t_i)]))$$
$$\frac{1}{2}{\Sigma }^{-1}=C^{T}C$$