20、用于安全物联网的深度强化学习

用于安全物联网的深度强化学习

1. 强化学习与深度强化学习概述

强化学习（RL）是人工智能的一个分支，旨在解决随时间自动学习理想决策的难题，这是许多技术和工业领域广泛探索的热门挑战。RL 自然地将一个额外维度（通常是时间，但不一定）融入学习过程，使其更接近人工智能的社会认知。

在动态环境中，原本看似静态的输入 - 输出问题从更广泛的角度来看会变得动态。例如，在一个二元监督分类问题中，输入被标记为正常或异常。训练数据被传递给分类器进行训练，一段时间后，分类器收敛并表现出良好性能，然后部署运行一段时间。之后会发现正常数据的模式发生了显著变化，大量输入查询被错误分类，这时就需要更新训练数据并重新执行训练过程。显然，这种方法并不理想。

这个例子表明，即使是简单的人工智能问题（监督、无监督、半监督）也存在一个隐藏的时间维度，通常被忽视，但在实际应用中可能会成为问题。

RL 通过提供一类解决物联网信息处理中动态性难题的方法，为物联网（IoT）带来了环境智能，以做出反应性决策。具体来说，从状态到活动的最优映射由智能体与周围环境交互所学的策略决定。学习智能体应能够以某种方式感知系统的当前状态，从而执行影响新状态和即时奖励的操作，目标是在长时间内最大化长期奖励。与之前的深度学习类别不同，模型不会被告知要执行的活动，而是必须通过试验确定能产生极长期奖励的活动。

然而，RL 在处理具有实际复杂性的问题时面临挑战，即智能体需要从多维物联网数据中专业地表示环境状态，并利用这些知识学习最优决策策略。因此，深度学习被用于辅助 RL 处理高维度问题，从而产生了深度强化学习（DRL）的概念。

2. 基础与预备知识

开发适用于现实物