16、公共部门生产性人工智能系统评估的挑战与设计原则

公共部门生产性人工智能系统评估的挑战与设计原则

在当今时代，政府组织和企业越来越多地使用人工智能（AI）系统来自动化和支持不同领域的各种任务。然而，目前的实证研究大多集中在AI系统的开发、采用和实施阶段，对维护阶段的关注相对较少。维护阶段对于AI系统的生命周期至关重要，因为它不仅关系到能否收回初始成本，还关系到如何防止AI系统可能造成的危害。

1. AI系统维护阶段评估的重要性

AI系统维护阶段的一个关键活动是评估。评估是指根据性能期望来评估系统性能的控制论过程。在AI系统的背景下，评估涉及对AI系统的性能特征（如准确性、公平性和透明度）进行评估，以满足利益相关者的期望。

评估不仅是发现开发阶段未发现的性能问题的机会，还对于防止性能随时间下降至关重要。性能下降可能是由于环境变化导致生产数据偏离AI系统的训练数据，或者是由于行为、标准和法律的变化导致AI系统执行旧的和不正确的法律版本。

2. 现有研究的不足

尽管最近对AI系统的兴趣激增，但相对较少的研究关注维护期间AI系统的性能评估。社会技术AI研究主要关注高层管理参与、集体学习、授权和增强、预生产风险评估和缓解以及意外结果等问题，而没有明确关注维护期间的评估。技术研究虽然探索了评估AI系统的策略，但没有关注组织在实施这些策略时遇到的实际问题。

不过，现有研究也提供了一些重要的见解，即有效使用AI需要整合领域知识和AI知识。例如，预生产风险评估的设计强调了多专家评估的重要性，涉及AI和领域专家。民族志研究描述了机器学习（ML）专业知识和领域专业知识在AI支持的招聘中的相互作用。

3. 研究问题与方法

本研究旨在解决组织如何确