10、迈向有意义人类控制的自动化车辆与交通系统设计

迈向有意义人类控制的自动化车辆与交通系统设计

1. 引言

自动化系统在现代工业中已应用数十年，主要用于重复性和繁琐的任务。智能系统的广泛应用使更复杂和动态的任务得以执行，这通常归功于人工智能（AI）的使用。虽然这些自动化系统无疑能让流程和生活更轻松，但人们越来越担心安全或具有伦理敏感性的系统在多大程度上仍受人类控制，在某些情况下，甚至怀疑是否存在合适的控制。

自动化车辆（AVs）和由自动驾驶系统（ADS）控制的出行领域，安全、控制和责任的重要性已被广泛讨论，但在有意义的人类控制方面，本质上仍是一个脆弱的领域。由于控制漏洞，已经发生了致命和严重的事故。如果不调整设计指南，预计还会发生更多此类事故。本文的重点是解决ADS中的控制问题，并提出一个通用框架，以确保在新系统和现有系统中维持这种控制，特别是那些有能力实施或强制执行变革的组织。这对于确保联网自动化车辆（CAV）技术蓬勃发展，而不是受到不信任或导致许多可预防的死亡至关重要。

2. 控制、责任和问责的差距

车辆控制的差距与谁负责和承担责任密切相关。2004年，Andreas Matthias提出了“学习型自动机的责任差距”问题，即具备从与其他主体和环境的交互中学习能力的智能系统，将使人类对其行为的控制和预测变得非常困难，甚至不可能。这里的一个主要问题是，要归因于人类责任，需要具备对系统及其自身角色的了解和控制。

Santoni de Sio和Mecacci定义了四种与系统控制相关的责任差距：
- 罪责差距 ：没有人类主体可能因自动化系统的不良行为结果而被合理指责或承担罪责。
- 公共问责差距