30、具有选择性泛化能力的Q学习及其在化工厂布局规划中的应用

具有选择性泛化能力的Q学习及其在化工厂布局规划中的应用

1. 引言

在实现特定目标的标准未知的环境中，强化学习在收集、存储和利用环境反馈信息方面表现出色。它无需监督，就能构建评估行动以实现目标的标准。然而，学习代理获取的信息依赖于与环境的交互，当实现目标需要复杂行动时，代理需广泛探索环境并存储大量数据来构建标准。为克服这些缺点，具有泛化能力的函数逼近方法受到关注。本文聚焦于使用改进版的小脑模型关节控制器（CMAC）这一函数逼近方法，来提升强化学习的性能。

CMAC是一种具有泛化能力的查表方法，无需精确的非线性函数数学模型即可进行函数学习。在强化学习中，它被用于逼近评估函数以提高学习性能。在CMAC中，数值信息以权重形式分布存储在内存位置，每个权重与一个基函数相关联，该基函数在输入的指定区域输出非零值。CMAC输入通过基函数构建的网格进行量化。为加速学习并扩大信息传播到相邻基函数，CMAC会更新与给定输入点附近基函数相关的一组权重，从而实现泛化能力。但传统CMAC的网格和泛化影响区域的形状固定，虽可通过调整网格量化间隔改变区域大小，但形状不可调，难以针对不同情况获得合适的泛化效果。

为克服这一缺点，本文引入了具有选择性泛化能力的CMAC设计方法。该方法通过扩展输入选择多个CMAC，扩展输入由利用先验知识获得的函数生成，可调整CMAC泛化影响区域的形状和大小。此方法能为传统CMAC效果不佳的情况提供合适的泛化。本文将该方法应用于基于虚拟化工厂的工厂布局分配问题。

在化工厂中，工厂元素的布局需考虑维护和消防的可达性、可操作性和建设成本。从安全角度看，储罐和反应器应尽量远离，以减少火灾或爆炸对相邻设备的影响，但这会增加连接管道长度，降低生产和运营效率。因此，化工厂布局