增强学习在无人驾驶中的应用

作者：王江，吴双，刘少山
本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅2016年《程序员》

本文是无人驾驶技术系列的第六篇，着重介绍增强学习在无人驾驶中的应用。增强学习的目的是通过和环境交互，学习如何在相应观测中采取最优行为。相比传统的机器学习，它有以下优势：首先，由于不需要标注的过程，可以更有效地解决环境中存在的特殊情况。其次，可以把整个系统作为一个整体，从而对其中的一些模块更加鲁棒。最后，增强学习可以比较容易地学习到一系列行为。这些特性十分适用于自动驾驶决策过程，我们在本文深入探讨增强学习如何在无人驾驶决策过程中发挥作用。

增强学习简介

增强学习是最近几年中机器学习领域的最新进展。增强学习的目的是通过和环境交互学习到如何在相应的观测中采取最优行为。行为的好坏可以通过环境给的奖励来确定。不同的环境有不同的观测和奖励。例如，驾驶中环境观测是摄像头和激光雷达采集到的周围环境的图像和点云，以及其他的传感器的输出，例如行驶速度、GPS定位、行驶方向。驾驶中的环境的奖励根据任务的不同，可以通过到达终点的速度、舒适度和安全性等指标确定。

增强学习和传统机器学习的最大区别是增强学习是一个闭环学习的系统，增强学习算法选取的行为会直接影响到环境，进而影响到该算法之后从环境中得到的观测。传统的机器学习通过把收集训练数据和模型学习作为两个独立的过程。例如，如果我们需要学习一个人脸分类的模型。传统机器学习方法首先需要雇佣标注者标注一批人脸图像数据，然后在这些数据中学习模型，最后我们可以把训练出来的人脸识别模型在现实的应用中进行测试。 如果发现测试结果不理想，那么我们需要分析模型中存在问题，并且试着从数据收集或者模型训练中寻找原因，然后从这些步骤中解决这些问题。对于同样的问题，增强学习采用的方法是通过在人脸识别的系统中尝试进行预测，并且通过用户反馈的满意程度来调整自己的预测，从而统一收集训练数据和模型学习的过程。增强学习和环境交互过程的框图如图1所示。

图1 增强学习和环境交互的框图

增强学习存在着很多传统机器学习所不具备的挑战。首先，因为在增强学习中没有确定在每一时刻应该采取哪个行为的信息，增强学习算法必须通过探索各种可能的行为才能判断出最优的行为。如何有效地在可能行为数量较多的情况下有效探索，是增强学习中最重要的问题之一。其次，在增强学习中一个行为不仅可能会影响当前时刻的奖励，而且还可能会影响之后所有时刻的奖励。在最坏的情况下，一个好行为不会在当前时刻获得奖励，而会在很多步都执行正确后才能得到奖励。在这种情况下，增强学习需要判断出奖励和很多步之前的行为有关非常有难度。

虽然增强学习存在很多挑战，它也能够解决很多传统的机器学习不能解决的问题。首先，由于不需要标注的过程， 增强学习可以更有效地解决环境中所存在着的特殊情况。比如，无人车环境中可能会出现行人和动物乱穿马路的特殊情况。只要我们的模拟器能够模拟出这些特殊情况，增强学习就可以学习到怎么在这些特殊情况中做出正确的行为。其次，增强学习可以把整个系统作为一个整体的系统，从而对其中的一些模块更加鲁棒。例如，自动驾驶中的感知模块不可能做到完全可靠。前一段时间，Tesla无人驾驶的事故就是因为在强光环境中感知模块失效导致的。增强学习可以做到，即使在某些模块失效的情况下也能做出稳妥的行为。最后，增强学习可以比较容易学习到一系列行为。自动驾驶中需要执行一系列正确的行为才能成功的驾驶。如果只有标注数据，学习到的模型如果每个时刻偏移了一点，到最后可能就会偏移非常多，产生毁灭性的后果。而增强学习能够学会自动修正偏移。

综上所述，增强学习在自动驾驶中有广阔的前景。本文会介绍增强学习的常用算法以及其在自动驾驶中的应用。希望能够激发这个领域的探索性工作。

增强学习算法

增强学习中的每个时刻t∈{0,1,2,…}中，我们的算法和环境通过执行行为at进行交互，可以得到观测st和奖励rt。一般情况中，我们假设环境是存在马尔科夫性质的，即环境的变化完全可以通过状态转移概率Pass′=Pr{st+1=s′|st=s,at=a}刻画出来。也就是说，环境的下一时刻观测只和当前时刻的观测和行为有关，和之前所有时刻的观测和行为都没有关系。而环境在t+1时刻返回的奖励在当前状态和行为确定下的期望可以表示为：Ras=E{rt+1|st=s,at=a}. 增强学习算法在每一个时刻执行行为的策略可以通过概率π(s,a,θ)=Pr{at=a|st=s;θ}来表示。其中θ是需要学习的策略参数。我们需要学习到最优的增强学习策略，也就是学习到能够取得最高奖励的策略。

ρ(π)=E{∑t=1∞γt−1rt|s0,π （1）

其中γ是增强学习中的折扣系数，用来表示在之后时刻得到的奖励折扣。同样的奖励，获得的时刻越早，增强学习系统所感受到的奖励越高。

同时，我们可以按照如下方式定义Q函数。Q函数Qpi(s,a)表示的是在状态为s，执行行为a之后的时刻都使用策略π选择行为能够得到的奖励。我们能够学习到准确的Q函数，那么使Q函数最高的行为就是最优行为。

Qπ(s,a)=E{∑k=1∞γk−1rr+k|st=s,at=a,π}=Es′[r+γQpi(s′,a′)|s,a,π] （2）

增强学习的目的，