23、复杂稀缺数据集上的训练：合成数据与领域适应策略

复杂稀缺数据集上的训练：合成数据与领域适应策略

1. 合成数据的优势

在工业应用等场景中，获取目标对象或场景的 3D 模型（如 3D 计算机辅助设计蓝图或深度传感器捕获的 3D 场景）变得越来越普遍，网络上也有大量的 3D 模型数据集。随着计算机图形学的发展，越来越多的专家开始使用这些 3D 数据库来渲染合成图像，用于训练识别模型。

合成图像是由计算机图形库从 3D 模型生成的图像。得益于蓬勃发展的娱乐产业，计算机图形学取得了长足的进步，如今的渲染引擎能够从 3D 模型生成高度逼真的图像，如用于视频游戏、3D 动画电影和特效制作。科学家们很快意识到了其在计算机视觉领域的潜力。

利用详细的 3D 模型，现代 3D 引擎可以渲染大量逼真的伪图像。通过适当的脚本编写，可以从各个角度、不同距离、不同光照条件或背景等渲染目标对象的图像。还可以使用各种渲染方法模拟不同类型的相机和传感器。

由于可以完全控制场景或图像内容，因此可以轻松为每个合成图像获取各种真实标签，如渲染模型的精确 3D 位置或对象掩码。例如，巴塞罗那自治大学的研究团队构建了城市环境的虚拟副本，并使用它们渲染了多个城市场景数据集 SYNTHIA；达姆施塔特工业大学和英特尔实验室的团队成功展示了在逼真的视频游戏《侠盗猎车手 5》中拍摄的图像上训练的自动驾驶模型。

除了生成静态数据集，3D 模型和游戏引擎还可用于创建交互式模拟环境。模拟学习常用于教授人类复杂技能，对于机器也同样适用。公司和研究实验室已经开发了许多涵盖各种应用（如机器人技术、自动驾驶、监控等）的模拟框架。在这些虚拟环境中，可以训练和测试模型，模型在每个时间步接收环境的视觉输入，并据此采取进一步行动，影响模拟过程，这种交互式训练