28、基于强化学习的模糊系统生成方法研究

基于强化学习的模糊系统生成方法研究

1. 引言

模糊逻辑建模与控制在处理不精确性和非线性问题上十分高效，但传统的模糊推理系统（FIS）设计方法主观性强，不仅耗时，而且在系统复杂或不确定时可能无法成功。因此，许多研究人员致力于寻找自动生成 FIS 的方法。

设计 FIS 的主要问题包括结构识别和参数估计。结构识别涉及根据任务需求划分输入空间并确定模糊规则的数量，参数估计则是确定模糊规则前提和结论的参数。结构识别和输入分类可通过监督学习（SL）、无监督学习（UL）和强化学习（RL）来实现。

SL 需要一个监督者，训练系统可根据给定的训练数据集调整结构和参数。然而，训练数据并非总是可用，尤其是在人类对系统了解甚少或系统不确定的情况下。此时，UL 和 RL 更受青睐，因为它们不需要监督者告知学习者采取何种行动。通过 RL，获得正奖励的状态 - 动作对在未来选择中会得到鼓励，而产生负奖励的则会被抑制。

许多研究人员已将 RL 应用于训练 FIS 的结论部分，但 FIS 的前提部分要么是预定义的，要么通过特定标准确定。现有的一些方法在输入空间划分不佳时能实现在线结构识别，但无法调整前提参数，且生成的模糊规则即使变得冗余也不能删除。

为解决这些问题，本文提出了一种名为动态自生成模糊 Q 学习（DSGFQL）的新算法，它能够通过 RL 自动生成和修剪模糊规则，并调整 FIS 的前提参数。

2. 模糊控制系统架构

模糊控制系统的架构基于扩展的椭球基函数（EBF）神经网络，其功能等同于简单的高木 - 关野 - 菅野（TSK）模糊系统。DSGFQL 系统的神经网络结构如下：
1. 输入层 <