15、深度学习的里程碑与前沿应用

深度学习的里程碑与前沿应用

1. 强化学习在OpenAI Gym中的拓展

在OpenAI Gym的环境中，我们已经探索了如何在CartPole和MountainCar两个环境中应用强化学习的基础知识。尽管这两个问题是强化学习中较为简单的问题，但我们在此学习到的概念同样适用于更复杂的问题。像OpenAI Five这样的前沿模型也是基于相同的概念构建的。

OpenAI Gym还有许多其他环境可供尝试。在完成经典控制环境的学习后，可以试试其他安装的环境集，例如Atari环境和Box2D环境。

2. 深度学习的重要里程碑：ImageNet挑战

2.1 ImageNet挑战概述

ImageNet大型视觉识别挑战赛（ILSVRC）是由ImageNet项目举办的年度计算机视觉挑战。ImageNet项目始于2007年左右，旨在为视觉对象识别研究提供一个完整且易于访问的图像数据库。该项目根据WordNet（英语词汇数据库）对图像进行组织，将英语单词分组为同义词集（synsets），并为每个同义词集提供至少1000张图像。目前，ImageNet约有1400万张图像，所有图像都经过人工标注并带有边界框。

ILSVRC每年举办一次，来自行业和学术界的机构与研究小组使用他们的机器学习和计算机视觉算法相互竞争。任务是将超过10万张图像正确分类到1000个类别中，训练集约有100万张标注图像。竞赛的目标是让参赛者衡量和比较他们的应用程序和算法，次要目标是从更高层面衡量和记录计算机视觉机器学习多年来的进展。

2017年，由于38支参赛队伍中有29支的模型准确率超过95%，ImageNet开始构建更具挑战性的任务和数据集。因此