19、皮质算法：原理、训练与实验结果

皮质算法：原理、训练与实验结果

1. 皮质算法简介

皮质算法（Cortical Algorithms，CAs）是受人类视觉皮层启发而发展起来的计算模型。自20世纪80年代中期以来，得益于神经科学的重大发现和计算技术的进步，这类受大脑结构和功能特性启发的计算模型取得了显著进展。与早期不利用数据中时空关系构建机器学习模型的人工神经网络（ANNs）相比，CAs具有明显优势。

CAs模型是一个多层网络，以皮质柱为基本结构。其训练过程分为两个阶段：第一阶段是无监督前馈学习，训练各列从出现的模式中识别独立特征；第二阶段是有监督反馈学习，用于创建不变表示。

2. 皮质算法结构

2.1 基本结构

人类大脑是一个六层结构，包含大量通过前馈和反馈连接紧密相连的神经元。新皮质的一个重要特性是其结构和功能的一致性，网络中的所有单元看起来相似，并且执行相同的基本操作。类似地，CAs架构具有不同厚度的小柱（minicolumns）。小柱是一组共享相同感受野的神经元，属于同一小柱的神经元与相同的感觉输入区域相关联。小柱是皮质网络的基本结构，与经典ANN中的神经元不同。小柱的组合称为超柱或层（在后续内容中，“列”和“小柱”这两个术语可互换使用）。

2.2 连接方式

CAs网络中的连接有两个方向：水平方向，即同一层内各列之间的连接；垂直方向，即连续层的各列之间的连接。为了简化，CAs中省略了非连续层之间的连接。

2.3 符号表示

采用的符号表示如下：$W_{i j k}^{r t}$ 表示在训练时期 $t$ ，第 $r$ 层第 $i$ 列的第 $j$ 个神经元与前一层（$r -