自动驾驶安全验证的里程挑战

驶向安全：需要行驶多少英里才能证明自动驾驶汽车的可靠性？

尼迪·卡尔拉⇑，苏珊·M·帕多克
兰德公司，美国加利福尼亚州圣莫尼卡市主街1776号，邮编90401

摘要

自动驾驶汽车有多安全？这个问题的答案对于确定自动驾驶汽车如何影响机动车安全和公共健康，以及制定合理的政策以规范其部署至关重要。一种被提出的安全评估方法是：在真实交通条件下对自动驾驶汽车进行路测，观察其表现，并与人类驾驶员的表现进行统计比较。这种方法在逻辑上成立，但它是否具有可行性？在本文中，我们计算了为提供明确的统计证据以证明自动驾驶汽车安全所需行驶的英里数。鉴于当前交通事故死亡和伤害相对于车辆行驶里程而言属于罕见事件，我们发现，为了在死亡和伤害方面证明全自动驾驶汽车的可靠性，必须对其进行数亿甚至数千亿英里的测试。即使在激进的测试假设下，现有车队也需要花费几十年甚至数百年才能完成这些行驶里程——如果目标是在向公众推出供消费者使用之前证明其性能，这几乎是不可能实现的任务。

这些发现表明，该技术的开发者和第三方测试者无法仅通过驾驶测试来确保安全。相反，他们需要开发创新方法来证明其安全性和可靠性。然而，仍有可能无法完全确定自动驾驶汽车的安全性，不确定性将始终存在。因此，自动驾驶汽车法规必须具备适应性——从一开始就设计为能够随着技术发展而不断演进，以便社会能更好地利用这些快速进步且可能带来变革的技术所带来的益处，同时有效管理其风险。

2016爱思唯尔有限公司。保留所有权利。

1. 引言

在美国，每年约有32,000人死于交通事故，超过二百万人受伤（美国交通统计局，2015）。美国机动车交通事故整体上可能在单年内造成超过8000亿美元的经济和社会成本（Blincoe等，2015）。此外，超过90%的交通事故是由人为错误（美国国家公路交通安全管理局，2015）引起的——例如超速驾驶和误判其他驾驶员的行为，以及酒精影响、分心和疲劳。

自动驾驶汽车有潜力通过消除人类驾驶员经常犯的许多错误，显著缓解这一公共健康危机（安德森等人，2016年；法格南特和科克尔曼，2015年）。首先，自动驾驶汽车永远不会醉酒、分心或疲劳；这些因素分别占所有致命车祸的41%、10%和2.5%（美国国家公路交通安全管理局，2011年；运输统计局，2014年b；美国交通部，2015年）。由于感知能力更优（例如，无盲区）、决策能力更强（例如，更准确地规划侧方停车等复杂驾驶操作）以及执行能力更佳（例如，对转向、制动和加速的控制更快且更精确），自动驾驶汽车的性能可能也优于人类驾驶员。

然而，自动驾驶汽车可能无法消除所有碰撞。例如，恶劣天气和复杂驾驶环境对自动驾驶汽车构成挑战，对人类驾驶员也是如此，在某些情况下，自动驾驶汽车的表现可能不如人类驾驶员（Gomes, 2014）。自动驾驶汽车还可能带来新的严重碰撞风险，例如由网络攻击引发的碰撞（Anderson et al., 2016）。显然，自动驾驶汽车既具有巨大的潜在效益，也伴随着巨大的潜在风险。

鉴于影响重大，政策制定者、交通行业和公众正面临一个关键问题：在允许自动驾驶汽车上路供消费者使用之前，它们应该达到怎样的安全水平？然而，要使这一问题的答案有意义，还必须能够回答第二个问题：自动驾驶汽车目前有多安全？

或许评估安全性的最合理方式是在真实交通中试驾自动驾驶汽车并观察其表现。自动驾驶汽车开发者依赖这种方法来评估和改进他们的系统，几乎总是配备经过培训的操作员坐在驾驶位，随时准备在即将发生故障事件时接管车辆控制权。事后他们可以分析该故障事件，以评估如果没有干预自动驾驶汽车会如何应对，以及是否会导致碰撞或其他安全问题（Google, 2015）。开发者已在有关自动驾驶汽车监管的国会听证会上提交了试驾数据（Urmson, 2016）。

但是，通过试驾来评估自动驾驶汽车安全是否切实可行？人类驾驶员的安全性是与自动驾驶汽车安全性相比较的关键基准。尽管人类驾驶员导致的事故、伤害和死亡数量很高，但与人们驾驶的总英里数相比，这些故障的发生率很低。美国人每年驾驶近3万亿英里（美国交通统计局，2015）。2013年报告的230万起伤情对应每1亿英里77起报告的受伤事件的故障率。2013年的32,719人死亡对应每1亿英里1.09起死亡事件的故障率。

作为对比，谷歌自动驾驶汽车车队目前拥有55辆车辆，从2009年到2015年期间以自动驾驶模式试驾了约130万英里，共涉及11起事故。布兰科等人（2016）最近将谷歌车队的性能与人类驾驶性能进行了比较。他们发现，谷歌车队可能导致仅涉及财产损失的事故较少，但在两个关键指标——伤害和死亡方面，无法得出关于相对性能的结论。鉴于人类驾驶和自动驾驶汽车故障的发生率，自动驾驶行驶的英里数尚不足以进行统计显著的比较。

在本报告中，我们回答下一个逻辑问题：需要多少英里才足够？特别是，我们首先假设：

1. 自动驾驶汽车需要在无故障的情况下行驶多少英里，才能证明其故障率低于某个基准？这为所需的英里数提供了下限。

然而，自动驾驶车辆不会是完美的，故障将会发生。鉴于性能的不完美，我们接下来将：

2. 自动驾驶汽车需要行驶多少英里才能以特定的精确度证明其故障率？

3. 自动驾驶汽车需要行驶多少英里才能证明其故障率在统计学上显著低于人类驾驶员故障率？

需要注意的是，并非所有道路英里都具有同等代表性。用于证明自动驾驶汽车安全性的英里数必须涵盖人类驾驶所涉及的全部条件范围（气候、地形、拥堵等），并且应按相同比例分布。也就是说，如果10%的人类驾驶英里是在雪天行驶的，那么自动驾驶汽车的测试英里中也应有10%在雪天进行。

我们使用直接的统计方法来回答这些问题。鉴于死亡和伤害是罕见事件，我们将证明，要验证完全自动驾驶汽车在死亡和伤害方面的可靠性，必须进行数亿英里甚至数千亿英里的路测。即使在激进的测试假设下，现有车队也需要几十年甚至几百年才能完成这些里程的测试——如果目标是在将自动驾驶汽车投入消费者使用之前验证其性能，这几乎是不可能实现的。

这些结果表明，该技术的开发者和第三方测试者无法仅仅通过驾驶来证明其安全。相反，他们需要开发出创新的方法来证明其安全性和可靠性。这是一个快速发展的研究与开发领域。我们希望本文中的数据和图表能为开发这些替代方法提供有用的参考，并作为评估其效率的基准和方法。

接下来的三个部分将针对这些问题提供解释、分析和结果。最后，我们对结果进行总结与讨论，并得出关于这些结果对自动驾驶汽车技术利益相关者影响的结论。

2. 自动驾驶汽车需要在无故障的情况下行驶多少英里，才能证明其故障率低于某个基准？

2.1. 统计方法

我们可以通过将故障率重新表述为可靠性，并基于二项分布的成功运行统计（奥康纳和克莱纳，2012）来回答这个问题。如果一辆车的每英里故障率为 $ F $，则其可靠性 $ R $ 为 $ 1 - F $，可解释为在任意给定英里内无故障的概率。实际上，除非该技术真正完美，否则测试期间很可能出现故障。然而，可以使用简单的“无故障”情景（见公式 (1)）来估计为以置信度 $ C $ 建立自动驾驶汽车的可靠性所必需的无故障英里数 $ n $ 的下限：

$$
C = 1 - R^n \quad (1)
$$

如果例如，开发者已让自动驾驶汽车行驶了一定数量的无故障英里数，并希望了解在特定置信度下可声明的可靠性（或等效的故障率），则此方法非常有用。或者，对于给定的置信度 $ C $ 和可靠性 $ R $，我们可以求解 $ n $，即在无故障情况下所需的英里数：

$$
n = \frac{\ln(1 - C)}{\ln(R)} \quad (2)
$$

该方程通常用于根据使用时长来表示产品的存活率（克莱纳，2014）。

2.2. 示例计算

要证明完全自动驾驶汽车的死亡率为每1亿英里1.09起死亡事件（$ R = 99.9999989\% $），并在 $ C = 95\% $ 的置信度下实现，这些车辆必须完成2.75亿无故障英里数的行驶。若由100辆自动驾驶汽车组成的车队以平均时速25英里、每年365天、每天24小时进行试驾，则大约需要12.5年时间。

2.3. 结果

图1 展示了完全自动驾驶汽车需要行驶多少无故障英里数，才能在不同置信度水平下证明其最大故障率。我们选择了每1亿英里1至400次故障的范围，以涵盖人类驾驶员的死亡、受伤和碰撞率范围。作为参考，我们用虚线标出了人类驾驶员的故障率。参考线分别对应于每1亿英里中的死亡（1.09）、报告的伤情（77）和报告的碰撞（190）。此外，已知伤亡和事故可能严重漏报：一项研究表明，分别漏报约25%和60%（Blincoe等，2015）。因此，我们也标出了可能更真实反映人类驾驶导致的受伤（103）和碰撞（382）的参考线，单位为每1亿英里。对应95%置信水平的2.75亿英里数据点已在图1中标注。我们评估了对不同置信水平的敏感性，因为不同领域采用的标准不同，这会导致所需行驶英里数存在巨大差异。尽管95%和99%置信水平被广泛使用，但汽车行业有时对车辆部件采用50%置信水平（Misra，2008）。对角线代表 $ C = 50\% $，75%，95% 和 99%。

这项分析表明，对于死亡事故而言，即使假设自动驾驶汽车具有完美表现，也不可能通过路测来证明其安全性达到任何合理标准。相比之下，通过数百万英里的驾驶，可以证明自动驾驶汽车在伤亡和事故方面的可靠性达到可接受的标准。然而，重要的是要认识到，这只是一个基于车辆完美表现的理论下限。实际上，自动驾驶汽车会出现故障——不仅包括已经涉及的常见伤害和事故，还包括致命事故。我们的第二和第三个问题根据这一现实量化了通过实际驾驶来证明可靠性的所需英里数。

3. 自动驾驶汽车需要行驶多少英里才能以特定的精度证明其故障率？

3.1. 统计方法

为了估计真实的自动驾驶汽车故障率，我们必须统计在给定行驶距离内发生的事件（故障）数量。故障率的估计值为 $ \hat{k} = x/n $，其中 $ x $ 是在 $ n $ 英里行驶距离中观察到的故障次数。我们可以使用 $ 100(1 - \alpha)\% $ 置信区间（CI）的宽度来描述故障率估计的精度。

如果预期故障次数大于 30，则可以采用泊松分布的正态近似。故障率的一个近似置信区间为：

$$
\left( \frac{x - z_{1-\alpha/2} \sqrt{x}}{n}, \frac{x + z_{1-\alpha/2} \sqrt{x}}{n} \right) \quad (3)
$$

其中，$ z_{1-\alpha/2} $ 是标准正态分布的 $ (1 - \alpha/2) $ 分位数。置信区间的半宽为

$$
\frac{z_{1-\alpha/2} \sqrt{x}}{n}
$$

并且提供了故障率估计值 $ \hat{k} = x/n $ 的精度估计。我们可以计算相对于故障率估计值的精度

$$
\frac{z_{1-\alpha/2} \sqrt{x}}{x/n} = \frac{z_{1-\alpha/2}}{\sqrt{x}}
$$

如果 $ d $ 是我们期望的精确度（例如，如果我们希望在 20% 范围内估计故障率，$ d = 0.2 $），则为了以精度 $ d $ 估计故障率，必须观察到的故障次数为：

$$
x = \left( \frac{z_{1-\alpha/2}}{d} \right)^2 \quad (4)
$$

如果假设的故障率（在收集数据之前）为 $ k^* $（马修斯，2010），则公式 (5) 意味着必须行驶的英里数为：

$$
n = \frac{ \left( \frac{z_{1-\alpha/2}}{d} \right)^2 }{k^*} \quad (5)
$$

3.2. 示例计算

我们可以如下证明这一点。基于某些关于其安全性能的初始数据，假设一个完全自动驾驶车辆车队的真实死亡率为每1亿英里1.09起死亡事故。我们可以利用此信息确定所需的样本量（行驶英里数），以在95%置信区间下将车队的死亡率估计值控制在假定率的20%范围内。我们应用公式(4)来估算在死亡率估计达到该精度水平之前需要观察到的死亡事故数量：$ (1.96/0.20)^2 = 96 $。（此处，1.96是标准正态分布双侧95%置信区间的Z值。）我们应用公式(5)来确定这需要多少英里的驾驶里程：

$$
n = \frac{(1.96 / 0.2)^2}{1.09 \times 10^{-8}} = 8,811,009,174
$$

这大约相当于88亿英里。由100辆自动驾驶汽车组成的车队以平均时速25英里，每天24小时、每年365天进行试驾，这将需要大约400年。

3.3. 结果

图2展示了完全自动驾驶汽车需要行驶多少英里才能以95%置信度将故障率估计到不同的精度水平。为达到给定故障率估计精度所需行驶的英里数随着故障率的增加而减少。对角线表示5%、10%和20%的精度。与图1相同，我们用虚线垂直线作为参考标出了人类驾驶员的故障率，分别为死亡（1.09）、报告的伤情（77）、估计总受伤数（103）、报告的碰撞（190）和估计总碰撞数（382）每1亿英里。对应于此示例的88亿英里数据点已在图2中标注。

这些结果表明，要以任何合理的精确度来证明高性能自动驾驶汽车（即故障率与人类驾驶相当或更低的车辆）的可靠性，可能是不可能的。例如，即使自动驾驶汽车的安全性较低——每1亿英里发生数百次故障，这与人类驾驶的受伤和碰撞率相近——要证明这一点也需要数千万甚至数亿英里的测试里程，具体取决于所需的精度。而对于低故障率的情况——每1亿英里1次故障，相当于人类驾驶的死亡率——要以任何程度的精度证明其性能都是不可能的，因为这需要数十亿到数千亿英里。这些结果表明，随着自动驾驶汽车性能的提升，由于故障事件的极端稀有性，准确评估其性能变得越来越困难，甚至不可能。

4. 自动驾驶汽车需要行驶多少英里才能证明其故障率在统计学上显著低于人类驾驶员故障率？

4.1. 显著性检验的统计方法

设置统计显著性检验需要我们明确所要检验的原假设，即故障率 $ k $ 大于或等于 $ k_0 $。此处，我们将 $ k_0 = H $ 设为人类驾驶员故障率。我们还必须指定一个备择假设，我们将其指定为 $ k < H $。在显著性检验的背景下，$ \alpha $ 是显著性水平，即检验的I类错误率，定义为当原假设为真时拒绝原假设的概率，也就是假阳性。对于自动驾驶汽车而言，如果数据显示自动驾驶汽车的表现优于人类驾驶员，而实际上并非如此，则会发生假阳性——这对政策制定者、技术开发者、保险行业以及消费者来说都是危险的情况。

能够检验零假设显著性水平为 $ \alpha $ 的假设，可以检验公式(3)的置信上限：

$$
\frac{x + z_{1-\alpha} \sqrt{x}}{n} < H
$$

如果如此，则可以在第 $ \alpha $ 个显著性水平上拒绝原假设。要评估置信界限何时预计会小于 $ H $，需要对预期的自动驾驶汽车故障率 $ k_{\text{alt}} $ 进行估计。我们设 $ k_{\text{alt}} = (1 - A) H $。

为了确定需要多少故障次数（以及行驶英里数）才能证明这一点，我们可以求解 $ x $ 和 $ n $：

$$
x = k_{\text{alt}} \left( \frac{z_{1-\alpha}}{k_0 - k_{\text{alt}}} \right)^2 \quad (6)
$$

$$
n = \frac{k_{\text{alt}}}{k_0 - k_{\text{alt}}} \left( \frac{z_{1-\alpha}}{} \right)^2 \quad (7)
$$

4.2. 显著性检验示例计算

我们可以如下证明这一点。假设一个完全自动驾驶车辆车队的真实死亡率为比人类驾驶员致死率（每1亿英里1.09起死亡事故）低 $ A = 20\% $，即每1亿英里0.872起死亡事故。我们应用公式(7)来确定必须行驶多少英里，才能以95%置信度证明这一差异是统计显著的：

$$
n = 0.872 \times 10^{-8} \left( \frac{1.645}{1.09 \times 10^{-8} - 0.872 \times 10^{-8}} \right)^2 = 4,965,183,486
$$

要证明这种差异，大约需要50亿英里。由100辆自动驾驶汽车组成的车队以平均时速25英里每天24小时、每年365天进行测试，这将耗时约225年。

4.3. 显著性检验的结果

图3显示了完全自动驾驶汽车需要行驶多少英里，才能以95%置信度证明其故障率在统计上显著低于人类驾驶员故障率，其中 $ A $ 取不同值。不同的曲线代表相对于人类驾驶员的死亡、报告的伤害、估计的总伤害、报告的碰撞和估计的总碰撞率的表现。注意，当人类驾驶员与自动驾驶汽车的碰撞率差异趋近于0时，即 $ A \to 0 $，所需行驶的英里数趋近于无穷大。本示例中的50亿英里数据点已在图3中标注。

4.4. 显著性与功效的统计方法

设定显著性水平 $ \alpha $，可以控制我们在显著性检验中可能犯的两类错误之一：当原假设实际上为真时却拒绝了原假设（I类错误）。如上所述的样本量确定方法的一个局限性在于，它未考虑第二类错误 $ \beta $（即II类错误）：当备择假设为真时未能拒绝原假设。在自动驾驶汽车的背景下，II类错误意味着数据表明自动驾驶汽车的表现不优于人类驾驶员，而事实上它们确实更优。尽管这一错误对利益相关者而言可能不那么令人担忧，但它同样严重，因为它可能延迟有益技术的引入，并不必要地延续人类驾驶员带来的风险。

检验功效，即 $ 100(1 - \beta)\% $，是指在备择假设成立时正确拒绝原假设的概率。对于给定的行驶英里数 $ n $，以及假设率 $ k_0 $ 和假定率 $ k_{\text{alt}} $，该检验的检验功效为：

$$
\text{Power} = \Phi \left( \frac{k_0 - k_{\text{alt}}}{\sqrt{k_{\text{alt}} / n}} - z_{1-\alpha} \right) \quad (8)
$$

其中 $ \Phi(\cdot) $ 是累积标准正态分布。以我们一直在使用的示例为基础，一项显著性水平为 $ \alpha = 0.05 $ 且要求行驶约50亿英里 的研究，其检验功效为50%以拒绝原假设。

人们可能更想知道自动驾驶汽车需要行驶多少英里，才能以一定的概率避免I类错误和II类错误。使用死亡分布的正态近似，在 $ \alpha $ 显著性水平下实现 $ 100(1 - \beta)\% $ 检验效能所需的英里数 $ n $ 为：

$$
n = k_{\text{alt}} \left( \frac{z_{1-\alpha} + z_{1-\beta}}{k_0 - k_{\text{alt}}} \right)^2 \quad (9)
$$

4.5. 显著性和功效的示例计算

继续我们的示例，我们应用公式(9)来确定自动驾驶汽车必须行驶的英里数，以95%置信度和80%检验力（即 $ \beta = 0.2 $）判断其故障率比人类驾驶员致死率低20%：

$$
n = 0.872 \times 10^{-8} \left( \frac{1.645 + 0.842}{1.09 \times 10^{-8} - 0.872 \times 10^{-8}} \right)^2 = 11,344,141,710
$$

自动驾驶汽车必须行驶超过110亿英里才能检测出这种差异。如果使用由100辆自动驾驶汽车组成的车队，以平均时速25英里，每天24小时，每年365天进行试驾，这将需要518年——大约半个千年。

4.6. 显著性与功效结果

图4显示了完全自动驾驶汽车需要行驶多少英里，才能以95%置信度和80%检验力证明其故障率比人类驾驶员故障率提高 $ A\% $。不同线条代表相对于人类驾驶员的死亡、报告的受伤、估计的总伤害、报告的碰撞和估计的总碰撞率的性能表现。本示例中的110亿英里数据点已在图4中标注。

这些结果表明，自动驾驶汽车的性能越接近人类驾驶员，要证明两者之间的差异具有统计显著性所需行驶的英里数就越多。这是合理的——两个总体均值越接近，就需要越多的样本才能确定它们是否存在显著差异。例如，如果自动驾驶汽车使死亡率降低5%而不是20%，那么以95%置信度和80%检验力证明具有统计显著性的改进所需的行驶里程几乎达到荒谬的程度：2150亿英里。一支由100辆车组成的车队几乎需要近10000年才能完成这一目标。事实上，对于死亡率在5%到90%之间没有改进的情况，使用100辆车的车队实际驾驶所需英里数是不现实的。对于伤害和事故而言，除非自动驾驶汽车明显优于人类驾驶员（25%或更高的改进），否则要证明其与人类驾驶员存在显著差异所需的行驶英里数将大到不切实际。

如果政策问题与我们所设定的不同，则可能需要较少的行驶英里数来评估自动驾驶汽车的可靠性。例如，假设人们普遍认为只要自动驾驶汽车的性能不超过人类驾驶汽车的某个（较小）程度的劣势即可允许其上路，但预期其性能实际上优于人类驾驶的汽车。在这种情况下，可以进行非劣效性检验，并据此规划样本量（赵等人，2008）。

然而，即使是这些结果也过于乐观了。我们有意地构建了这一分析，以计算出证明自动驾驶汽车与人类驾驶员之间存在统计学上显著差异所需的最少行驶英里数。首先，随着测试暴露出技术的不足，开发者很可能会不断改进自动驾驶汽车。在多年的测试时间框架内，车辆的性能将从开始到结束发生变化，希望是变得更好。然而，这也可能意味着需要更多的行驶英里数来证明其安全性，因为技术本身已经发生了变化。

其次，回顾一下，我们将 $ H $ 视为一个已知的基准，据此可以进行单样本检验。然而，$ H $ 并非一个确定的基准，原因有三点。第一，2013年或任何特定年份的人类驾驶员表现并不是我们关注的基准。真正的问题在于自动驾驶汽车的表现是否优于人类驾驶员，而某一年的故障数据仅仅是人类驾驶员真实故障率的一个估计值。第二，伤亡和事故被严重漏报，关于漏报率的证据也存在矛盾。如果通过实验准确记录伤亡和事故，可能会得出不同的比率。第三，人类驾驶员的表现正在发生变化。过去几十年中，机动车死亡率持续下降。1994年每1亿英里有1.73起死亡事件，而2013年为每1亿英里1.09起死亡事件（美国交通统计局，2015）。这种下降很大程度上可归因于车辆设计的改进（法默和隆德，2015），而这类改进仍可能继续。因此，人类驾驶员表现的基准是一个移动目标。因此，如果我们将在某个时间段内比较人类驾驶员与自动驾驶汽车的表现，那么未来这种比较是否仍然成立就存在不确定性。基于所有这些原因，适当地将 $ H $ 视为不确定，并采用双样本假设检验，而这将需要观察更多的故障并行驶更多的英里数。这表明，我们无法单纯依靠行驶里程来回答关于自动驾驶汽车最重要的政策问题之一：它们是否比人类驾驶员更安全？

5. 讨论与结论

本报告提出了三个关于自动驾驶汽车需要行驶多少英里才能通过统计方法证明其可靠性的不同问题。我们列出了回答这些问题的公式，并给出了完全自动驾驶汽车的结果，可为那些希望从统计上测试其可靠性的人提供参考。

表1 提供了我们分析的示例结果。三行编号展示了关于证明安全所需英里数的三个统计问题的样本结果。每种基准故障率（见字母列）均列出了相应的样本结果，这些分别对应人类驾驶（A）的死亡率、（B）报告的受伤率和（C）报告的碰撞率。结果中还用括号标出了由100辆自动驾驶汽车组成的车队以平均时速25英里、每天24小时、每年365天行驶这些英里所需的时间（年数）。例如，可以提出这样的问题：“要以95%的置信度证明自动驾驶汽车的故障率在真实率（A列）每1亿英里1.09起死亡事件的20%范围内，需要行驶多少英里（年数）？（第2行）”答案是88亿英里，这样的车队需要400年才能完成。

结果表明，要证明自动驾驶汽车在死亡和伤害方面的可靠性，必须进行数亿英里甚至数千亿英里的驾驶。即使在激进的测试假设下，现有车队也需要几十年甚至几百年才能完成这些英里的行驶——如果目标是在将其投入道路使用之前证明其性能，这几乎是不可能的。只有碰撞表现似乎可以通过此类统计比较进行评估，但这也可能需要数年时间。此外，随着自动驾驶汽车的改进，要通过统计方法验证其性能的变化，将需要数千万英里的驾驶。

我们的结果证实并量化了该技术的开发者和第三方测试者无法仅通过驾驶来证明其安全性。我们的发现支持需要采用替代方法来补充实地测试，以评估自动驾驶车辆的安全性并制定适当的政策与法规。这些方法可能包括但不限于加速测试（尼尔森，2009）、虚拟测试与仿真（陈和陈，2010；卡斯特吉尔等，2015；奥利瓦雷斯等，2015）；数学建模与分析（霍贾提‐埃马米等，2012；基安法尔等，2013）；场景与行为测试（加州机动车管理局，2015；西瓦克和舒特尔，2015）；以及试点研究（荷兰汽车协会，2015），还包括对硬件和软件系统的广泛集中测试。

然而，即使采用这些方法，在将自动驾驶汽车投入公共使用之前，也可能无法完全确定其安全。不确定性仍将存在。这对政策制定者、保险公司和技术开发者来说，带来了重大的责任和监管挑战，并可能引起公众的担忧。这也表明，试点研究可能是广泛使用前理解自动驾驶汽车性能的一个必要中间步骤。此类试点研究需要通过公私合作伙伴关系来实施，由开发者、保险公司、政府和消费者共同分担责任。

与此同时，该技术将迅速发展，其引入的社会和经济背景也将不断变化。在这种快速变化的背景下，法规和政策不能采取一次性的方式。因此，在创建新的测试方法的同时，必须开始制定有计划的适应性监管方法（艾希勒等人，2015；沃克等人，2010）。

此类监管从一开始就旨在生成新知识（例如通过试点研究），审查该知识（例如通过定期的安全审查委员会），并利用该知识随着技术的发展而演进（例如通过修改安全要求）。这有助于社会更好地利用这些潜在变革性技术带来的益处，并有效管理相关风险。