7、连续多步问题中的递归最小二乘法和二次预测

连续多步问题中的递归最小二乘法和二次预测

学习分类器系统（Learning Classifier Systems）是一种基于遗传算法的机器学习技术，用于通过与未知环境的交互来解决问题。其中，XCS分类器系统是目前最成功的学习分类器系统之一。它将有效的时间差分学习（作为著名Q学习的一种改进）与基于准确性的适应度引导的小生境遗传算法相结合，以演化出准确且最大程度通用的解决方案。

1. 引言

Wilson在XCS的基础上引入了计算预测的概念，形成了XCSF。在XCSF中，分类器的预测不是存储在一个参数中，而是作为当前输入和与每个分类器关联的权重向量的线性组合进行计算。最近，分类器权重更新采用了递归最小二乘法（Recursive Least Squares, RLS），并且计算预测的概念进一步扩展到多项式预测。这些扩展在单步问题中已被证明非常有效，但目前尚不清楚这些发现是否可以扩展到连续多步问题。

本文主要研究了在连续多步问题中，使用递归最小二乘法和二次预测的XCSF的性能。通过实验，将通常的Widrow - Hoff更新规则与递归最小二乘法（结合协方差重置）在2D网格世界问题上进行了比较。结果表明，使用递归最小二乘法的XCSF在收敛速度上优于使用Widrow - Hoff规则的XCSF，尽管两者最终都能达到最优性能。此外，对多项式预测的实验分析也表明，二次预测能使XCSF更快地收敛到最优性能。

2. 具有计算预测的XCS

XCSF与XCS有三个主要区别：
- 分类器条件针对数值输入进行了扩展，类似于XCSI。
- 分类器扩展了一个权重向量w，用于计算预测。
- 原始的分类器预测更新方式需要修改，以便更新权重而不是