8、神经网络与神经元放电模式研究

神经网络与神经元放电模式研究

在神经网络和神经科学领域，有两项重要的研究，一项是关于前馈神经网络的基于混沌注入的批量反向传播算法的收敛性研究，另一项是基于新的无分箱尖峰序列测量方法来发现多神经元放电模式的研究。下面将详细介绍这两项研究。

基于混沌注入的批量反向传播算法收敛性

1. 背景与动机

反向传播（BP）算法是前馈神经网络中常用的训练算法，有批量学习和在线学习两种实现方式。然而，BP算法存在收敛速度慢和容易陷入局部最小值的问题。为解决这些问题，人们提出了许多改进方法，如在误差函数中添加惩罚项、在权重更新中添加动量、在学习过程中注入噪声等。最近，有人提出在BP学习过程中注入混沌的新方法，其实验有效性已得到验证，但该方法的收敛性尚未在理论上得到确立。

2. 网络结构

考虑一个三层网络，包含 $p$ 个输入节点、$q$ 个隐藏节点和 1 个输出节点。定义了权重向量 $w_0$ 和 $w_i$，将所有权重参数写成紧凑形式 $w$，并定义矩阵 $V$。对于输入 $\xi$，网络的最终输出可以表示为 $\zeta = g(w_0 \cdot F(V\xi))$，其中 $F(x)$ 是由激活函数 $f$ 构成的向量函数。

3. 混沌注入的反向传播算法

给定一组训练样本 ${\xi_j, O_j} {j = 1}^{J}$，网络训练的目标是找到合适的网络权重 $w^*$ 来最小化误差函数 $E(w)$。误差函数的梯度 $E_w(w)$ 可以通过计算得到。从任意初始值 $w_0$ 开始，基于混沌注入的反向传播算法通过迭代更新权重 ${w_n}$，公式为 $w {n + 1} = w