Large Language Model-Based Reward Design for Deep Reinforcement Learning-Driven Autonomous Cyber ...

一、文章主要内容总结

该研究聚焦于复杂动态网络环境中自主网络攻防的奖励设计难题，提出了一种基于大语言模型（LLM）的奖励设计方法，结合深度强化学习（DRL）构建自主网络防御策略。核心内容如下：

1. 研究背景：传统网络攻防奖励设计依赖领域专家（SMEs），但随着网络状态空间扩大和攻防行为复杂化，专家面临巨大认知负担；而LLM的知识合成与上下文推理能力为解决该问题提供了可能。
2. 核心框架：以Cyberwheel为高保真仿真环境，利用Claude Sonnet 4（具备先进编码和推理能力的LLM），根据不同攻防主体的异质行为特征（如激进型/隐蔽型攻击者、两种主动型防御者）生成上下文感知的奖励结构，再通过近端策略优化（PPO）算法训练DRL防御代理。
3. 实验设计：设计9组攻防主体组合实验，对比LLM生成的奖励结构与专家基线奖励结构的效果，通过“首次攻击影响时间”“防御行为分布”等指标评估防御策略性能。
4. 关键发现：LLM引导的主动型DRL防御代理能有效延迟激进型和隐蔽型攻击者的攻击影响；混合防御策略（根据攻击者类型切换防御主体模式）对多样化攻击行为具有更强适应性。

二、文章创新点

1. LLM赋能奖励设计：将LLM（LLM4RL范式）应用于网络攻防的奖励结构生成，将攻防主体的定性行为特征（如“激进”“隐蔽”“主动”）转化为定量奖励指标，减轻专家认知负担，提升奖励设计的针对性。