网络物理系统与强化学习安全解析

1、是什么让网络物理系统（CPSs）与物联网不同？

网络物理系统（CPSs）和物联网在很多方面相似，但CPSs包含更多的物理和计算元素。它代表了从物理世界访问并连接到物理世界的各种网络信息技术（IT）系统。

2、与传统控制系统相比，网络物理系统（CPS）有哪些独特特征？

1. 用网络取代嵌入式系统
   在CPS中，传感器数据无线发送到计算机系统，借助全功能计算机的计算能力对传感器数据进行更强大的实时操作，使控制系统更智能。

2. 接口物理系统和软件
   CPS通过提供系统的抽象和模型以及设计和分析物理系统的技术，将物理系统与软件相连接。

3. 由高级连接和智能数据管理等两部分组成
   高级连接确保从物理世界实时采集数据并从网络空间反馈信息；智能数据管理等能力构建网络空间。

4. 计算机发挥重要作用
   与传统模型中人类是主要控制器不同，计算机在调节CPS中扮演重要角色。

5. 具有网络连接和可访问性
   CPS是联网且可访问的，但这也使其易受网络攻击。

3、实施信息物理系统（CPSs）面临的常见挑战有哪些？

实施 CPSs 存在一些常见挑战，例如：

• 向计算机系统发送数据和从计算机系统接收数据时会有不可避免的时间延迟
• 使用数字系统控制大型物理分布工厂比使用模拟方法更难

4、网络安全的四个目标——保密性、完整性、可用性和真实性之间有什么关系？

这四个目标并非孤立存在，而是紧密相连。例如， 保密性 和 完整性 的定义明确依赖于 真实性 ； 可用性 与系统内数据的稳定性相关，而数据稳定性又需要 完整性 来保障。

5、在哪些情况下你会更倾向于使用动态规划？近似动态规划？

解决策略选择

当解决马尔可夫决策过程（MDP）问题时：

• 若需要考虑方法的 可扩展性 和 收敛速度 ，则更倾向于使用 动态规划 。

• 当遇到 状态维度高 导致计算复杂的问题，即面临 维度灾难 时，则更倾向于使用 近似动态规划 ，它能够显著降低复杂度。

6、解释在无限期问题中折扣因子的目的是什么。小的折扣因子有什么影响？大的折扣因子呢？

折扣因子的目的是降低未来奖励的价值。小的折扣因子会使智能体更