权值初始化：Nguyen-Widrow算法

权值初始化：Nguyen-Widrow算法

初始化权值，即第一次权值如何选择。一般的做法是随机选择很小的值作为初始权值，但这样做收敛较慢。比较好的方法是采用Nguyen-Widrow算法初始化权值。它的基本思想是每个神经元都有属于自己的一个区间范围，通过初始化权值就可以限制它的区间位置，当改变权值时，该神经元也只是在自己的区间范围内变化，因此该方法可以大大提高收敛速度。
Nguyen-Widrow算法初始化MLP权值：
对于所有连接输出层的权值和偏移量，初始值为一个在[-1, 1]的随机数。
对于中间层的权值，初始为：

式中，vh是一个在[-1, 1]的随机数，H为第l-1层神经元的数量。
而中间层的偏移量初始为：

式中，vk是一个在[-1, 1]之间的随机数，K为第l层神经元的数量。
其中G为：

C++实现：

void init_weights()
    {
        int i, j, k, l_count = layer_count();//网络结构层数

        for( i = 1; i < l_count; i++ )
        {
            int n1 = layer_sizes[i-1]; //上一层的神经元数
            int n2 = layer_sizes[i]; //当前层的神经元数
            double val = 0, G = n2 > 2 ? 0.7*pow((double)n1,1./(n2-1)) : 1.;
            double* w = weights[i].ptr<double>(); //第0层的值不处理。weights在之前就打平成一维了

            // initialize weights using Nguyen-Widrow algorithm
            for( j = 0; j < n2; j++ )
            {
                double s = 0;
                for( k = 0; k <= n1; k++ ) 
                {
                    val = rng.uniform(0., 1.)*2-1.; //得到正负1之间的一个随机数
                    w[k*n2 + j] = val;
                    s += fabs(val);
                }

                if( i < l_count - 1 )
                {
                    s = 1./(s - fabs(val));
                    for( k = 0; k <= n1; k++ )
                        w[k*n2 + j] *= s;
                    w[n1*n2 + j] *= G*(-1+j*2./n2);
                }
            }
        }
    }