21、深度学习中的关键技术与模型解析

深度学习中的关键技术与模型解析

1. 稀疏分布式表示

CLA借鉴了生物模拟的许多操作原理。新皮层由超过$10^{11}$个高度互连的神经元组成，但它仍能以相对稀疏的激活水平对刺激做出反应，这得益于大量的抑制性连接，抑制作用确保了在任何时候只有少量神经元被激活。

CLA采用了与稀疏分布式表示（SDR）相同的编码策略，通过侧向突触连接，受到强烈刺激的神经柱会抑制附近的活动，从而减少活动柱的数量，形成输入模式或刺激的稀疏内部表示，且这种表示是分布式的，即分布在一个区域内。

与ASCII码等其他表示方式不同，由于活动位是稀疏的，了解其中一部分活动位仍能携带有关输入模式的信息。在ASCII码中，单个位是没有意义的，而SDR为单个激活赋予了表示质量。由于可能大量神经元中只有一小部分是活动的，单个神经元获得的任何语义意义都将特定于有限数量的相似模式，因此，即使是模式中活动神经元的一个子集也可以很好地指示该模式。强制实施这种稀疏性所导致的理论信息损失在实际中并没有影响。

2. 算法实现

与第一代不同，将学习阶段与推理阶段分离并不能很好地揭示分层时间记忆（HTM）的操作规则。在CLA中，学习、推理，尤其是预测是和谐进行的。层次结构的每一层都在不断进行预测，当较低节点稳定时，可以关闭其学习功能；当激活时，学习会与预测同时在线进行。

2.1 空间池化器

空间池化器在CLA中的作用与在Zeta 1中相同，空间上相似的输入模式应该有一个共同的内部表示，该表示不仅要对噪声具有鲁棒性，还要符合SDR的稀疏原则。这些目标通过强制皮层柱之间的竞争来实现。

当呈现输入数据时，HTM区域中的所有柱都会计算其前馈