21、基于多智能体强化学习的入侵检测：案例研究与评估

基于多智能体强化学习的入侵检测：案例研究与评估

1. 引言

在网络安全领域，Flood - Base DoS和DDoS攻击严重威胁着网络的正常运行。为了有效检测这些攻击，我们提出了一种基于分布式强化学习（Distributed Reinforcement Learning，DRL）的入侵检测系统（Distributed Intrusion Detection System，DIDS）。通过训练一组异构的传感器智能体，识别网络的正常和异常状态。选择检测这些攻击来测试学习方法，主要有以下原因：
- 一些研究指出，需要多种传感器信息才能高置信度地检测攻击。
- 此类攻击通过修改状态信息扰乱网络运行，识别异常状态有助于检测洪泛攻击。
- 异常状态由多个因素表征，这些因素分散在网络不同部分，且只有特定网络设备可见，单一设备或实体无法识别。
- 为识别只有部分智能体可见的网络事件，需要使用分布式专业智能体，这些智能体对整个网络环境只有部分可观测性。

此外，我们使用ns - 2模拟器在真实网络模拟环境中对该方法进行了适配和评估，以验证其实际应用的可行性。

2. 技术概述

Flood - Base DoS和DDoS攻击以不同方式改变网络的正常行为，识别这些差异有助于检测攻击。这些攻击的分布式特性为使用分布式和自适应平台进行检测提供了机会，我们提出使用基于多智能体强化学习（Multi - Agent Reinforcement Learning，MARL）的架构。

入侵检测系统（Intrusion Detection System，IDS）通常分为两类：
| 类型 | 原理 | 优点 | 缺点 |
| --