20、皮质算法与深度学习：原理、应用与发展

皮质算法与深度学习：原理、应用与发展

皮质算法（Cortical Algorithms）

皮质算法概述

皮质算法（CAs）在理论上具有优越的性能，但由于其训练时间长、计算成本高，相较于人工神经网络（ANNs），其应用范围相对较窄。这些特点使得皮质算法在在线学习、对能量敏感的计算节点以及对训练时长有严格限制的大型数据集等场景中缺乏吸引力。

改进的皮质算法在阿拉伯语语音数字识别中的应用

由于皮质算法在自动语音识别（特别是阿拉伯语）领域尚未得到广泛应用，研究人员对皮质算法在反馈过程中原本使用的强化和抑制规则进行了修改，引入了加权熵的概念，并将其添加到皮质算法的成本函数和权重更新规则中。

基于熵的权重更新规则

在皮质算法的反馈学习阶段，将每一层的输出与期望的激发状态进行比较，并更新权重，直到误差项减小到最小阈值。使用最小二乘法准则时，较大的误差值对学习过程的影响远大于较小的误差值。对于一类问题，以均方误差（MSE）作为权重更新准则的梯度下降算法可能会陷入局部最小值，从而无法找到最优解。相比之下，采用梯度下降算法的交叉熵（CE）准则能够保证在学习过程中收敛到最优解。

一个形式良好的误差函数 $J(W_{i,j,k}^{r,t}) = \sum h(W_{i,j,k}^{r,t})$ 具有以下三个性质：
1. 对于所有的 $W_{i,j,k}^{r,t}$，$h(W_{i,j,k}^{r,t})$ 的导数 $h’(W_{i,j,k}^{r,t})$ 必须为负。
2. 存在一个 $\epsilon > 0$，使得对于所有 $W_{i,j,k}^{r,t} \leq 0$，有 $