【嗅觉】基于强化学习Q-learning算法对特定气味做出Go行动或 NOGO的正确反应附Matlab代码

最新推荐文章于 2025-12-03 13:56:23 发布

原创最新推荐文章于 2025-12-03 13:56:23 发布 · 710 阅读

CC 4.0 BY-SA版权

文章标签：

✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。

🍎 往期回顾关注个人主页：Matlab科研工作室

🍊个人信条：格物致知,完整Matlab代码获取及仿真咨询内容私信。

用于气味传感器数据去噪（平滑噪声、保留信号边缘），需结合 Q-learning 算法构建 “传感器数据处理→状态决策→动作执行” 的完整框架，才能实现对特定气味的 Go/NOGO 正确反应。

功能：对输入的一维数据（如气味传感器的响应值序列Tp）进行滑动窗口平均，输出每个点的均值（mTp）和标准差（stdTp），用于抑制传感器噪声。
关键特性：窗口大小为n，边缘点（开头n2个、结尾n2个数据）采用 “半窗口” 平均（避免边缘数据失真），适配气味信号的连续采集场景。
待修正问题：当i+n2>N（结尾边缘点）时，tp未赋值，导致这部分mTp和stdTp为 NaN，需补充tp=Tp(i-n2:end,1);完善逻辑。

数据输入：气味传感器采集的原始响应值（如浓度、响应强度序列），经RunningMean_edge去噪后作为基础数据。
状态定义（Q-learning 关键）：基于去噪后的均值mTp和标准差stdTp，划分状态空间。示例：
- 状态 S1：mTp在 “目标气味阈值范围” 内，stdTp<0.1（信号稳定）
- 状态 S2：mTp在阈值外，stdTp<0.1（非目标气味稳定）
- 状态 S3：stdTp≥0.1（信号波动，未稳定）
动作空间：仅两个离散动作 ——A1（Go：识别为目标气味，执行响应动作）、A2（NOGO：非目标气味，不执行）
奖励机制（引导正确决策）：
- 状态 S1 执行 A1：奖励 + 10（正确识别目标气味）
- 状态 S1 执行 A2：惩罚 - 5（漏检目标气味）
- 状态 S2 执行 A2：奖励 + 5（正确拒绝非目标气味）
- 状态 S2 执行 A1：惩罚 - 10（误检非目标气味）
- 状态 S3 执行任意动作：奖励 0（信号未稳定，不评价）

初始化 Q 表：Q(S,A)（3 个状态 ×2 个动作），初始值设为 0 或小随机数。
数据处理：实时采集气味传感器数据，用RunningMean_edge去噪，提取当前状态 S。
动作选择：基于 ε- 贪婪策略（ε 初始 = 0.3，逐渐衰减），大概率选Q(S,:)最大的动作，小概率随机探索。
奖励计算：根据 “当前状态 S + 执行动作 A” 的实际结果，计算奖励 R。
Q 表更新：按公式Q(S,A) = Q(S,A) + α×[R + γ×max(Q(S',:)) - Q(S,A)]更新（α=0.1 学习率，γ=0.9 折扣因子）。
迭代训练：重复步骤 2-5，直到 Q 表收敛（多次迭代后奖励稳定）。