35、轻量级片上学习：软件与硬件 LCS 结合的探索

轻量级片上学习：软件与硬件 LCS 结合的探索

1. XCS 与 LCT 简介

在机器学习领域，XCS（eXtended Classifier System）和 LCT（Lightweight Classifier Table）是两种重要的技术。XCS 基于遗传算法和强化学习，旨在学习一组最小的分类器（规则），在理想情况下，这些分类器的交互能为给定情况提供最优响应（动作）。每个分类器由条件、动作、奖励预测、奖励预测准确性和其他辅助值组成。在学习过程中，XCS 会将输入信号与每个分类器的条件进行匹配，记录每个分类器提出的动作和准确性加权的奖励预测，然后根据不同模式（探索或利用）选择要应用的动作，并根据新状态更新奖励预测和分类器集。经过多次迭代，遗传算法会不断创建新的、可能更合适的规则。

LCT 则由一个固定数量分类器的内存和基于硬件的动作查找及适应度更新机制组成，它没有生成新分类器的机制。LCT 中的分类器仅包含条件、动作和适应度，类似于基于强度的 ZCS 中的适应度。为实现无关位，LCT 会先将监控信号与掩码进行逻辑与运算，再与位值进行比较。LCT 根据分类器的相对适应度随机选择匹配分类器的动作（轮盘赌选择），并使用加权水库采样确保固定的查找时间。在收到先前应用动作的奖励后，LCT 会将奖励分配给动作集的分类器，并根据学习率更新适应度。

2. 方法策略

硬件机器学习面临着学习能力和硬件资源分配之间的权衡。为解决这个问题，采用了两阶段方法：
- 设计阶段 ：基于软件的 XCS 学习一组（最好是最优的）规则来解决给定问题。
- 运行阶段 ：使用 xcs2lct 工具