6、机器学习中的模拟与合成数据生成

机器学习中的模拟与合成数据生成

1. 模拟基础概念

模拟建立在三个主要概念之上：观察、行动和奖励。在模拟环境中，智能体通过收集观察信息、采取行动以及接收奖励来学习各种智能行为。

1.1 智能体学习过程

• 初始阶段：智能体的行动是随机的。
• 学习阶段：随着接收到奖励，智能体开始学习当前场景中理想的行为，行动变得更有针对性。
• 训练完成后：智能体的行为模型会固定下来，在推理模式下始终表现出训练后的行为。

1.2 策略的概念

将观察映射到能在当前时刻获得最高奖励的行动的模型被称为策略。在强化学习中，这是行为模型的常规术语，同时在相关框架中也是一个类名。策略类以一种允许切换决策方式的方式抽象了决策过程，例如可以在启发式控制（如使用 Unity 的输入系统控制智能体）和通过神经网络控制之间进行切换。

2. 合成数据生成

合成数据生成是机器学习中的另一个重要方面，主要使用 Unity 的 Perception 包来生成合成数据集，尤其是图像数据。

2.1 Unity Perception 简介

Unity 的 Perception 包将 Unity 游戏引擎转变为生成合成数据集的工具，可用于主要在 Unity 之外的机器学习工作流程。Perception 框架提供了一系列有用的工具，包括数据集捕获、对象标记、图像捕获等，还能帮助生成边界框、语义分割掩码以及场景生成等。

2.2 合成数据生成流程

合成数据生成的整体工作流程如下：
1. <