【2025年 SCI2区】基于强化学习的改进算术优化算法QL-REP-AOA+全局优化附Matlab代码性能实测

✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。

🍎 往期回顾关注个人主页：Matlab科研工作室

🍊个人信条：格物致知,完整Matlab代码及仿真咨询内容私信。

🔥 内容介绍

算术优化算法（AOA）在解决各类优化问题时存在解的精度和收敛速度不足的问题。本文提出基于强化 Q 学习和随机精英池策略的改进算法 QL-REP-AOA。通过构建基于迭代过程的状态空间与阶段自适应非线性奖励函数，使算法依据优化进程动态调整搜索策略；引入随机精英池策略，利用多种搜索算子协同，增强种群多样性与搜索效率。实验结果表明，相较于传统 AOA 及部分主流优化算法，QL-REP-AOA 在优化精度和收敛速度上表现更优，为复杂优化问题求解提供了新途径。

关键词

算术优化算法；强化 Q 学习；随机精英池策略；自适应策略；优化算法改进

一、引言

1.1 研究背景与意义

在科学研究和工程应用领域，优化问题广泛存在，如路径规划、资源分配、参数优化等 。算术优化算法（AOA）作为一种新兴的元启发式优化算法，凭借其原理简单、易于实现等特点，在诸多领域得到应用 。然而，随着优化问题复杂度的增加，AOA 在求解过程中暴露出解的精度较低、收敛速度慢等缺陷 ，难以满足实际需求。例如，在处理多峰函数优化问题时，AOA 容易陷入局部最优解，无法找到全局最优解；在大规模优化问题中，其收敛速度过慢，导致计算效率低下 。因此，对 AOA 进行改进，提高其优化性能，对于解决复杂实际问题具有重要的现实意义。

1.2 国内外研究现状

针对 AOA 的不足，国内外学者开展了大量改进研究 。在改进策略方面，部分研究通过调整算法参数，如惯性权重、学习因子等，改善算法的搜索性能 ；还有研究将 AOA 与其他智能算法相结合，如遗传算法、粒子群算法等，利用不同算法的优势互补，提升整体性能 。在应用领域，改进后的 AOA 已成功应用于图像处理、机器学习模型参数优化等多个方面 。然而，目前的改进方法在应对复杂动态优化问题时，仍存在一定局限性，如对环境变化的适应性不足、搜索策略的灵活性较差等 。强化学习作为一种能够通过与环境交互学习最优策略的方法，在动态决策和优化问题中展现出强大潜力 ；随机精英池策略则有助于增强种群多样性和搜索效率 。将这两种策略引入 AOA 的改进研究，具有重要的理论价值和应用前景。

二、算术优化算法（AOA）概述

2.1 算法基本原理

AOA 模拟数学运算中的加、减、乘、除等操作，通过个体之间的数学运算和信息交互实现种群进化 。在 AOA 中，每个优化问题的潜在解被视为种群中的一个个体，个体通过不断更新位置来搜索最优解 。算法主要通过三个阶段进行迭代：探索阶段、开发阶段和平衡阶段 。在探索阶段，算法利用全局搜索策略，在解空间中广泛搜索，寻找潜在的最优区域；开发阶段则聚焦于当前找到的较优区域，进行局部精细搜索，以提高解的精度；平衡阶段旨在协调探索和开发能力，避免算法过早陷入局部最优 。

2.2 算法存在的问题

尽管 AOA 具有一定的优化能力，但在实际应用中仍存在明显缺陷 。其一，算法的全局搜索能力有限，在解空间较大或复杂的情况下，难以全面探索所有可能的解，容易遗漏全局最优解 。其二，AOA 的局部搜索策略不够灵活，在接近最优解时，无法快速准确地收敛到全局最优，导致收敛速度慢 。其三，算法对参数设置较为敏感，不同的参数组合可能导致算法性能差异较大，增加了算法应用的难度 。这些问题限制了 AOA 在复杂优化问题中的应用效果。

三、基于强化 Q 学习和随机精英池策略的改进算法（QL-REP-AOA）设计

3.1 基于强化 Q 学习的策略改进

1. 状态空间构建：QL-REP-AOA 基于 AOA 的迭代过程构建状态空间 。将算法的迭代次数、当前种群的最优解、个体与最优解的距离等因素作为状态变量 。例如，以迭代次数作为离散状态变量，将其划分为若干个区间，每个区间对应一个状态；以个体与当前最优解的欧氏距离作为连续状态变量，通过量化处理将其映射到有限个状态中 。通过这种方式，将算法的运行过程转化为一系列离散的状态，为强化学习提供基础。

1. 阶段自适应非线性奖励函数设计：设计具有阶段自适应性的非线性奖励函数，使算法能够根据优化问题的不同阶段动态调整搜索策略 。在优化初期，奖励函数鼓励算法进行广泛的全局搜索，对探索到新区域的个体给予较高奖励；随着迭代进行，当算法接近最优解时，奖励函数侧重于局部开发，对能够提高解精度的个体给予奖励 。奖励函数的非线性设计能够更灵活地适应不同阶段的需求，例如，采用指数函数或分段函数形式，根据当前状态动态调整奖励强度 。通过强化 Q 学习，算法不断学习在不同状态下的最优动作，即选择合适的搜索策略，以最大化长期奖励。

3.2 随机精英池策略

1. 策略原理：随机精英池策略通过维护一个包含历史优秀个体的精英池，利用多种搜索算子的协同作用，增强种群的多样性和搜索效率 。在算法运行过程中，将每次迭代产生的适应度值较高的个体加入精英池 。同时，设定精英池的容量上限，当精英池满时，采用随机淘汰机制，移除部分个体，以保持精英池的动态更新 。

1. 搜索算子协同：引入多种搜索算子，如变异算子、交叉算子和局部搜索算子等 。在每次迭代中，从精英池中随机选取个体作为引导，结合当前种群个体，通过不同搜索算子进行操作 。变异算子通过随机改变个体的部分基因，增加种群的多样性；交叉算子将不同个体的基因进行组合，继承优秀个体的特征；局部搜索算子则对个体进行局部优化，提高解的精度 。多种搜索算子的协同作用，使算法能够在全局搜索和局部开发之间取得更好的平衡。

3.3 QL-REP-AOA 算法流程

1. 初始化：设置算法参数，包括种群规模、迭代次数、精英池容量等；随机生成初始种群，并计算每个个体的适应度值 。

1. 强化 Q 学习与状态更新：根据当前种群状态，依据强化 Q 学习策略选择搜索动作，更新个体位置；计算新个体的适应度值，并更新状态空间 。

1. 随机精英池操作：将适应度值较高的个体加入精英池，根据精英池容量进行随机淘汰；从精英池随机选取个体，与当前种群个体通过多种搜索算子协同操作，生成新个体 。

1. 迭代与终止判断：重复步骤 2 和步骤 3，直到达到最大迭代次数或满足其他终止条件；输出最优解 。

⛳️ 运行结果

📣 部分代码

🔗 参考文献

[1] Liu H, Chen Z, Zhang X, et al. An improved arithmetic optimization algorithm based on reinforcement learning for global optimization and engineering design problems[J]. Swarm and Evolutionary Computation, 2025, 96: 101985.：https://blog.youkuaiyun.com/Logic_9527/article/details/148592880

🎈 部分理论引用网络文献，若有侵权联系博主删

 👇 关注我领取海量matlab电子书和数学建模资料 

🏆团队擅长辅导定制多种科研领域MATLAB仿真，助力科研梦：

🌈 各类智能优化算法改进及应用

生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、设施布局优化、可视域基站和无人机选址优化、背包问题、 风电场布局、时隙分配优化、 最佳分布式发电单元分配、多阶段管道维修、 工厂-中心-需求点三级选址问题、 应急生活物质配送中心选址、 基站选址、 道路灯柱布置、 枢纽节点部署、 输电线路台风监测装置、 集装箱调度、 机组优化、 投资优化组合、云服务器组合优化、 天线线性阵列分布优化、CVRP问题、VRPPD问题、多中心VRP问题、多层网络的VRP问题、多中心多车型的VRP问题、 动态VRP问题、双层车辆路径规划（2E-VRP）、充电车辆路径规划（EVRP）、油电混合车辆路径规划、混合流水车间问题、 订单拆分调度问题、 公交车的调度排班优化问题、航班摆渡车辆调度问题、选址路径规划问题、港口调度、港口岸桥调度、停机位分配、机场航班调度、泄漏源定位

🌈 机器学习和深度学习时序、回归、分类、聚类和降维

2.1 bp时序、回归预测和分类

2.2 ENS声神经网络时序、回归预测和分类

2.3 SVM/CNN-SVM/LSSVM/RVM支持向量机系列时序、回归预测和分类

2.4 CNN|TCN|GCN卷积神经网络系列时序、回归预测和分类

2.5 ELM/KELM/RELM/DELM极限学习机系列时序、回归预测和分类

2.6 GRU/Bi-GRU/CNN-GRU/CNN-BiGRU门控神经网络时序、回归预测和分类

2.7 ELMAN递归神经网络时序、回归\预测和分类

2.8 LSTM/BiLSTM/CNN-LSTM/CNN-BiLSTM/长短记忆神经网络系列时序、回归预测和分类

2.9 RBF径向基神经网络时序、回归预测和分类

2.10 DBN深度置信网络时序、回归预测和分类

2.11 FNN模糊神经网络时序、回归预测

2.12 RF随机森林时序、回归预测和分类

2.13 BLS宽度学习时序、回归预测和分类

2.14 PNN脉冲神经网络分类

2.15 模糊小波神经网络预测和分类

2.16 时序、回归预测和分类

2.17 时序、回归预测预测和分类

2.18 XGBOOST集成学习时序、回归预测预测和分类

2.19 Transform各类组合时序、回归预测预测和分类

方向涵盖风电预测、光伏预测、电池寿命预测、辐射源识别、交通流预测、负荷预测、股价预测、PM2.5浓度预测、电池健康状态预测、用电量预测、水体光学参数反演、NLOS信号识别、地铁停车精准预测、变压器故障诊断

🌈图像处理方面

图像识别、图像分割、图像检测、图像隐藏、图像配准、图像拼接、图像融合、图像增强、图像压缩感知

🌈 路径规划方面

旅行商问题（TSP）、车辆路径问题（VRP、MVRP、CVRP、VRPTW等）、无人机三维路径规划、无人机协同、无人机编队、机器人路径规划、栅格地图路径规划、多式联运运输问题、 充电车辆路径规划（EVRP）、 双层车辆路径规划（2E-VRP）、 油电混合车辆路径规划、 船舶航迹规划、 全路径规划规划、 仓储巡逻

🌈 无人机应用方面

无人机路径规划、无人机控制、无人机编队、无人机协同、无人机任务分配、无人机安全通信轨迹在线优化、车辆协同无人机路径规划

🌈 通信方面

传感器部署优化、通信协议优化、路由优化、目标定位优化、Dv-Hop定位优化、Leach协议优化、WSN覆盖优化、组播优化、RSSI定位优化、水声通信、通信上传下载分配

🌈 信号处理方面

信号识别、信号加密、信号去噪、信号增强、雷达信号处理、信号水印嵌入提取、肌电信号、脑电信号、信号配时优化、心电信号、DOA估计、编码译码、变分模态分解、管道泄漏、滤波器、数字信号处理+传输+分析+去噪、数字信号调制、误码率、信号估计、DTMF、信号检测

🌈电力系统方面

微电网优化、无功优化、配电网重构、储能配置、有序充电、MPPT优化、家庭用电、电/冷/热负荷预测、电力设备故障诊断、电池管理系统（BMS）SOC/SOH估算（粒子滤波/卡尔曼滤波）、 多目标优化在电力系统调度中的应用、光伏MPPT控制算法改进（扰动观察法/电导增量法）

🌈 元胞自动机方面

交通流 人群疏散 病毒扩散 晶体生长 金属腐蚀

🌈 雷达方面

卡尔曼滤波跟踪、航迹关联、航迹融合、SOC估计、阵列优化、NLOS识别

🌈 车间调度

零等待流水车间调度问题NWFSP 、 置换流水车间调度问题PFSP、 混合流水车间调度问题HFSP 、零空闲流水车间调度问题NIFSP、分布式置换流水车间调度问题 DPFSP、阻塞流水车间调度问题BFSP

👇