神经网络 习题(推广的LVQ).

习题(推广的LVQ). 

设竞争网络的底层为输入源节点，竞争层的神经元y和底层源节点j的连接权值为wyj。对于C类分类问题， 每个竞争神经元属于类别c的概率为

P(yÎc)=exp(acy)/(åcexp(acy)), c=1,2,…C.

那么输入向量x,它的属于类别c的概率为

P(xÎc)= åy P(yÎc)P(y|x),  c=1,2,…C.

其中使用最简单的假设

P(y|x)= exp(-g ||wy-x||2)/(åyexp(-g ||wy-x||2)).

对于给定的标定数据集

(x1,c1), …., (xM,cM) 

和未标定的数据集

xM+1, …, xN ,

我们分别假设它们的期望的类别分布为：

  1) 对于标定数据，期望类别分布Q(xiÎci)=a; 当c¹ci , Q(xiÎc)=(1-a)/(C-1)，显然a>1/C;

  2) 对于未标定数据，期望的类别分布为Q(xiÎc)=1/C, c=1,2,…C。

那么，我们优化的目标就是关于权值wy和 acy对每个数据x的网络输出类别概率和期望类别分布概率的KL差最小化，即

Min åi åc Q(xiÎc) log[Q(xiÎc)/P(xiÎc)]

试推导上述推广的LVQ的学习算法，并实现推导的算法。

在MNIST(http://yann.lecun.com/exdb/mnist/)数据集中选择几类手写体数字进行模式分类的问题。讨论超参数g和a的取值对分类能力影响。

 

上面部分符号丢失，正确文档如下：

http://docs.google.com/View?id=dg6v52pq_509g5jbx2fv