潜在吸引子:上下文相关神经计算的通用范式
1. 引言
认知的一个重要且独特的属性是自主学习能力,即从与环境的简短、非结构化交互中推断出必要的类别、上下文和关系。现实世界中信息的一个重要特征是其在多个尺度上的时间可变性,以及这对后续信息的解释和响应的影响。智能系统需要具备感知、表示和利用这种多层次信息的能力,以应对环境。这就要求系统具有一定的结构和信息“深度”,能够同时在多个层面上处理信息。例如,系统的响应可能需要同时受到以下因素的影响:
1. 即时刺激(在几百毫秒内整合);
2. 近期经验(过去几秒内);
3. 动机和认知上下文(通常在几分钟或几小时内保持稳定)。
系统必须以通用和自适应的机制,同时综合考虑所有不同类型的时变影响。我们关注的是神经系统对不同范围和尺度上下文的反应能力,下面将介绍多尺度上下文依赖的框架,并探讨实现这些功能的神经机制。
2. 多尺度上下文依赖
上下文被定义为过去影响系统当前响应的相关信息。上下文相关系统的响应依赖于当前输入,同时受到上下文的调节:
[y(t) = f(x(t)|xc(t))]
其中,(xc(t)) 表示上下文,是过去输入的集合,与当前输入 (x(t)) 一起唯一确定系统的响应 (y(t)),在功能上等同于动态系统中的状态概念。
上下文主要分为两种类型:
- 类型 I(即时上下文) :由从 (t - 1) 到 (t - p) 的近期输入形成,(p) 对于给定的 (t) 是固定的,但随时间可变且可能未知:
[xcI(t) = {x(t - 1), x(t - 2), \ldots x(t -
超级会员免费看
订阅专栏 解锁全文
29

被折叠的 条评论
为什么被折叠?



