43、深入探索TD模型：经典条件反射的实时洞察

深入探索TD模型：经典条件反射的实时洞察

1. 经典条件反射与TD模型的引入

经典条件反射是一个复杂的领域，不同的理论解释了各种观察到的效应，人们在理解其细微差别方面也在不断取得进展。TD模型虽然不是经典条件反射的完整或完美模型，但它扩展了Rescorla - Wagner模型，解决了刺激之间的试验内和试验间时间关系如何影响学习，以及高阶条件反射如何产生的问题。

2. TD模型概述

TD模型是一种实时模型，与Rescorla - Wagner模型这样的试验级模型不同。在Rescorla - Wagner模型中，单个步骤t代表整个条件反射试验，该模型不考虑试验进行期间或试验之间发生的细节。而在TD模型中，t标记的是试验内或试验间的时间步长。可以把t到t + 1之间的时间看作一个小的时间间隔，比如0.01秒，将试验视为一系列状态，每个时间步对应一个状态，此时步骤t的状态代表了该时刻刺激的详细表示，而不仅仅是试验中存在的条件刺激（CS）成分的标签。实际上，我们可以完全摒弃试验的概念，从动物的角度来看，试验只是其与世界持续互动经验的一部分。

状态特征不仅可以描述动物所经历的外部刺激，还可以描述外部刺激在动物大脑中产生的神经活动模式，这些模式可能依赖于历史，即由一系列外部刺激产生的持久模式。TD模型不局限于任何特定的状态表示，并且由于它包含了折扣和跨越刺激时间间隔的资格迹，使得我们能够探索折扣和资格迹如何与刺激表示相互作用，从而对经典条件反射实验结果进行预测。

假设每个状态s由特征向量(x(s) = (x_1(s), x_2(s), \ldots, x_n(s))^T)表示，那么对应状态s的总关联强度由与Rescorla - Wagner模型相同