3、强化学习与网络物理系统概述

强化学习与网络物理系统概述

1. 深度强化学习

传统强化学习方法常受维度灾难的困扰，因此本质上局限于低维问题。而近年来兴起的深度强化学习算法，能够解决高维度的复杂问题。“深度”意味着端到端的训练过程中有多个层次，它可看作是深度神经网络与强化学习的结合，即通过深度神经网络的函数逼近和表示学习特性，在强化学习中运用深度学习算法。

1.1 示例

以设计一个能驱赶玉米地鸟类并向人类工人发出警告的机器人为例。在输入方面，机器人将视频输入学习算法，视频中每帧的高维像素先经过神经网络的多层处理，提取出视频帧的低维关键特征。基于此，机器人运用强化学习来决定是与目标互动还是逃离。这种涉及高维数据的端到端学习会带来巨大的计算复杂度，而深度学习可以应对这一挑战。

1.2 相关算法

深度强化学习涵盖了多种算法，如深度Q网络、信赖域策略优化和异步优势演员 - 评论家算法等。

1.3 应用案例

• 科技巨头的研究 ：IBM Watson和Google等科技巨头已建立专门的研究中心进行深入研究。例如，在特征工程方面，有人提出了使用带函数逼近的Q学习来寻找合适特征的自动化框架；IBM Watson机器在自然语言处理、文本解析和基于医疗记录检索的疾病诊断等方面取得进展，其应用之一是开放域问答。
• Google DeepMind的成果
  • 围棋程序 ：开发的自动化围棋程序击败了人类职业棋手，在与其他围棋程序的对弈中胜率达99.8%，并以5:0击败欧洲围棋