12、迈向预期学习的四因素理论

迈向预期学习的四因素理论

在预期学习领域，存在着一系列关键的概念、假设和实验过程，它们共同构成了一个独特的理论体系，用于解释智能体如何利用预期来学习和行动。下面将详细介绍这些内容。

1. μ - 假设相关概念

• 新μ - 假设的创建 ：在某些情况下，会创建新的μ - 假设。新μ - 假设的结果标志（Sign (s’’)）将是新颖或意外的标志。其上下文和动作从系统记录在与单个标志和动作相关的记忆中的近期标志集（以及SAS连接的动作）中提取。通过将记忆中的组件纳入前提，并将预测时间偏移相当于前提项在记忆痕迹中的深度的量，就可以构建新的μ - 假设。
• 假设H5：细化 ：细化是智能体区分或泛化其现有μ - 假设集的机制。区分是为现有μ - 假设的上下文添加额外条件，从而减少该假设适用的情况范围；泛化则是移除或放宽上下文的现有条件，增加适用情况范围。区分适用于增强那些在某种中间确证度量值上已稳定或停滞的μ - 假设。但μ - 假设在达到适当的测试水平（即“成熟度”或确证程度）之前不应进行区分。成熟度是对μ - 假设确证程度的度量，与假设的年龄无关。细化过程预计会从现有假设中创建新的、独立的μ - 假设，新旧假设都会保留，并可能“竞争”以确定哪个具有最佳预测能力。在SRS/E的具体实现中，创建（H4）倾向于形成过度泛化的μ - 假设，因此区分是主要的细化方法；而预期分类器系统（ACS）由于其设计，倾向于强调泛化作为主要的细化机制。
• 假设H6：遗忘 ：遗忘是智能体从所持有的μ - 假设集中丢弃被认为无效的假设，或在系统需要恢复资源时的机制。当